今年春季，一次由AI聊天机器人错误情报驱动的美军武装行动在最后一刻被叫停。据CNN报道，当时美军飞机已经升空，官员们才发现，针对一艘中国船只的情报实际上源自AI系统的幻觉。这次险些酿成冲突的事件，让外界开始重新审视大模型进入军事决策链路后的边界与风险。
一次误判，差一点进入实战
根据TechCrunch援引CNN的报道，这份引发风波的情报出现在美国与伊朗冲突期间，内容声称一艘中国船只正在运输与核武器计划相关的部件。该情报最初来自美国特种作战司令部的一名分析人员。这名分析人员使用AI聊天机器人，对开源数据和机密信号情报进行综合分析。在此过程中，聊天机器人错误识别了该船只的货物清单。
问题并没有在这里停止。随后，这名分析人员又再次使用该工具，将错误结果整理成一份看起来正式的摘要，并通过指挥渠道分发。正是这份带有明显AI生成痕迹、却未被充分核验的情报，推动行动进入执行阶段。直到军机已经起飞后，美国官员才发现问题，并在最后时刻终止了行动。
这一过程暴露出的关键问题，不只是模型本身给出了错误答案，更在于错误信息如何被包装成正式材料、如何沿指挥链向上流动，又为何在早期没有被识别和拦截。
军方追求决策提速，幻觉风险也随之放大
这次事件发生在一个敏感节点上。美国军方正在加速将AI纳入情报分析、目标识别和行动规划等环节，以提升决策速度，并维持相对于中国的军事优势。五角大楼曾公开表示，AI能够显著加快“杀伤链”，帮助指挥官在正确时间作出反应。
但问题也恰恰在这里。AI之所以受到重视，是因为它能提高处理速度、压缩信息整合时间、减少人工负担；可一旦缺少足够的人工审查和可解释性设计，模型幻觉也可能以同样快的速度进入更高层级的决策流程。换句话说，AI提升的不只是正确决策的效率，也可能是错误判断扩散的效率。
- 模型输出往往表面流畅、结构完整，容易被误认为已经过验证
- 分析人员若将AI生成内容直接格式化，会进一步增加其可信外观
- 一旦进入正式指挥链路，错误信息可能在被质疑前就推动实际行动
这也是军事领域与普通办公场景最大的不同。一般场景中，AI幻觉可能只造成信息误差；但在情报研判和武力使用相关场景中，一个错误判断就可能带来现实层面的严重后果。
关键不是弃用AI，而是补上安全机制
GovAI研究学者、美国陆军退伍军人Jake Steckler在向TechCrunch提供的书面回应中表示，军人员必须理解大语言模型本身固有的不确定性。他强调，这一点在涉及武力使用的决策中尤为关键，例如目标选择、情报分析和行动规划，因为这类决策关乎生死。
不过，Steckler并不认为这次事件意味着军方应当放弃AI。相反，他认为这应成为加强AI安全机制的警示。在他看来，这些工具在合适的场景和足够的安全保障下仍然有用；如果只追求部署速度而忽视风险控制，类似事件还会再次发生，最终反而会让军人员对系统失去信任，拖慢AI的实际采用。
从这次事件来看，真正值得警惕的并不只是“AI说错了”，而是错误为何能够顺利通过分析、整理、上报和执行等多个环节。对于军事系统而言，未来更重要的也许不是单纯提高模型能力，而是如何在制度层面明确三件事：AI输出是否可追溯、结论是否可解释、人工审核是否被强制嵌入关键节点。
当大模型开始参与情报与作战支持，它的输出就不再只是一个技术结果，而会成为决策链条的一部分。如何为这部分设置足够清晰的责任边界，已经成为军方无法回避的问题。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/ai-huan-jue-xian-xie-yin-fa-wu-pan-da-mo-xing-jin-ru-jun
