AI 幻觉差点触发美军行动，专家：别把大模型输出当情报

据 TechCrunch 报道，一次 AI 幻觉险些触发美军的一次军事行动。这一事件把大语言模型放进高风险决策链的严重后果摆到了台面上。 事情大致是：AI 系统给出了错误或凭空编造的内容，而这份输出获得的信任超出了它应得的程度，最终靠人工复核才被叫停。GovAI 的一位研究学者警告说，军人和国防相关人员必须明白，大模型生成的是概率性文本，而不是经过核实的情报。它们能用非常权威的语气说错话——当出错的代价包括局势升级、人员伤亡甚至战争时，这就格外危险。 这起事件只是军方采用 AI 的众多警示案例之一。大语言模型正越来越多地被用于分析、摘要、规划辅助和流程自动化，因为它们能快速处理海量非结构化信息。但它们也会产生幻觉、偏离原始材料，而且不会以人类操作者预期的方式提示不确定性。在民用场景里，这类失误可能只是尴尬或亏钱；在军事场景里，它可能造成行动混乱，或者把决策者推向基于错误前提的反应。 各国政府和国防机构一直在后勤、网络安全、情报初筛和行政事务上试验 AI。这次“差一点”说明，部署时必须配上严格防护：人工核实、不确定性提示、审计留痕、红队测试，以及明确限定 AI 输出在哪些环节可以直接影响行动。这也带来培训问题——操作者不光要知道大模型能做什么，还得知道它会怎么出错、为什么出错。这位学者的警告意味着，光靠技术性能基准还不够，机构必须在 AI 工具周围建立起怀疑精神和问责文化。 随着 AI 能力提升，国防领域的采用压力只会越来越大。这次事件的教训不是“AI 在军事上没用”，而是未经核实的输出不能被当成事实。在高风险环境里，速度必须和信任平衡，而信任只能靠核实来挣。