23. 在 AI 推論服務架構設計中,「批次推論(Batch Inference)」與「即時推論(Realtime Inference)」常依任務特性選擇不同機制。下列關於兩者特性的敘述何者最正
確?
(A)批次推論通常以同步請求方式回傳結果,以確保資料一致性;即時推論則多採
非同步機制以提升系統吞吐量(Throughput);
(B)批次推論多用於延遲容忍度較高的大規模資料處理,通常以吞吐量
(Throughput)最佳化為優先;即時推論則著重於請求回應時間的穩定性與低延遲
特性;
(C)批次推論因計算資源需求高,僅適用於影像類模型;即時推論則主要應用於結
構化資料模型;
(D)即時推論為確保回應速度,通常限制為單筆資料輸入;批次推論則可支援同步
多筆資料即時回傳
答案:登入後查看
統計: 尚無統計資料
統計: 尚無統計資料