3. 某企業計畫應用 BERT(Bidirectional Encoder Representations from Transformers)模型分析大量顧客意見,以強化客服自動回覆系統。在 BERT 的預訓練過程中,「遮罩語言模型(Masked Language Model, MLM)」的主要訓練策略為何?
(A)依序遮罩句尾詞語,讓模型從左到右逐步生成完整句子;
(B)隨機遮罩部分詞語,並讓模型根據雙向上下文(Bidirectional Context)預測被遮罩的詞;
(C)透過對抗訓練(Adversarial Training)生成語意相似的擾動樣 本以提升泛化性;
(D)以未遮罩的詞為條件,使用解碼器(Decoder)結構重建整句內容
答案:登入後查看
統計: A(0), B(1), C(0), D(1), E(0) #3773554
統計: A(0), B(1), C(0), D(1), E(0) #3773554