AI 幻覺差點觸發美軍行動，專家示警 LLM 不是情報

根據 TechCrunch 報導，一起 AI 幻覺事件差點觸發美國軍事行動，暴露出把大型語言模型放進高風險決策鏈中的嚴重風險。事件中，AI 系統產出了錯誤或憑空捏造的內容，卻在人工審查攔下之前，被賦予了高於其實際可信度的份量。GovAI 一名研究學者警告，軍職人員與國防相關人員必須理解，LLM 產出的是機率性的文字，而不是經過查證的情報。這類系統可以用很有權威的口吻說錯話，而當錯誤的代價可能包括衝突升高、人員傷亡或戰爭時，危險程度更是加倍。 這起事件加入了軍方採用 AI 的一長串警示案例。大型語言模型因為能快速處理大量非結構化資訊，正被越來越多地用於分析、摘要、計畫支援與流程自動化。但它們也會產生幻覺、偏離原始素材，並且不會以人類操作者預期的方式表達不確定性。在民間場景，這類失誤可能造成尷尬或財務損失；在軍事場景，則可能製造作戰混亂，或把決策者推向以錯誤前提為基礎的反應。 各國政府與國防機構一直在後勤、資安、情報初篩與行政事務上實驗 AI。這起「差一點出事」的案例，說明了部署為何需要嚴格防護：人工查核、不確定性標示、稽核軌跡、紅隊測試，以及明確限制 AI 輸出可以直接影響行動的範圍。它也帶出訓練問題。操作人員需要知道的不只是 LLM 能做什麼，還包括它在哪裡失敗、為什麼失敗。這位學者的警告意味著，單靠技術效能指標並不足夠；機構必須圍繞 AI 工具建立懷疑與問責的文化。 隨著 AI 能力提升，國防領域採用的壓力只會增加。這起事件的教訓並不是 AI 在軍事上沒有用處，而是未經查證的輸出不能被當成事實。在高風險環境中，速度必須與信任取得平衡，而信任必須透過查證來贏得。