当我们谈论AI可靠性时，“幻觉”几乎是绕不开的核心词。在主流叙事里，解决AI不可靠的路径清晰直白：给模型堆参数、喂更优质的训练数据、强化对齐训练……仿佛只要模型能力足够强，所有问题都会迎刃而解。但现实却给了这个乐观的论调一记重击——即便GPT-4、Claude 3等前沿模型的能力突飞猛进，企业管理者依然不敢让AI代理触碰核心业务系统，董事会的质疑声从未停止：“我们真的能信任它吗？”
或许我们从一开始就找错了问题的根源。Sweep.io联合创始人兼CEO伊多·盖弗（Ido Gaver）在Unite.AI的专栏中抛出了一个尖锐的观点：AI的“幻觉”本质上不是模型问题，而是环境感知问题。就像让外科医生在没有MRI、CT扫描，甚至看不到患者体内组织的情况下做手术，再顶尖的专家也只能靠经验猜测。如今企业里的AI代理，正面临着同样的困境。
当AI被要求修改工作流、更新ERP规则或跨工具触发自动化时，它几乎看不到企业系统的完整依赖关系图。它不知道某个看似“闲置”的字段其实支撑着下游的核心仪表盘，也不清楚某条验证规则被多少自动化流程引用。在这种情况下，AI只能依赖其最擅长的预测能力——但预测不等于理解，脱离环境上下文的预测，在外人看来就是“幻觉”。
长期以来，AI社区的可靠性讨论始终围绕模型本身展开：缩放定律研究、思维链提示工程、检索增强技术……这些探索无疑有价值，但它们都回避了一个关键问题：企业系统的拓扑结构复杂性。在企业场景中，可靠性的定义早已超越“生成正确文本”，它要求AI的每一次操作都“安全、可追溯、可预测”，这与实验室里的推理准确率、代码基准测试完全是两个维度的要求。
OpenAI和Anthropic发布的模型性能报告，衡量的是模型在推理任务、编码基准或知识召回上的准确率，但这些指标无法评估AI代理在拥有15年自动化债务的实时营收系统中安全操作的能力。真正的问题从来不是“模型能不能写出语法正确的代码”，而是“AI是否理解代码将要部署的复杂环境”。
企业系统绝非静态的数据库，而是不断演化的“活系统”。每一次新集成、每一场营销活动、每一个“快速修复”都会留下痕迹，这些层叠的系统随着时间推移，会形成连内部员工都无法完全理解的复杂交互。麻省理工斯隆商学院的研究早已指出，组织内部的信息不对称会加剧运营风险，而高德纳（Gartner）的数据显示，数据质量问题每年给企业平均造成1290万美元的损失。在这样的环境中部署AI代理，就像让一个盲人在堆满杂物的房间里行动，摔倒只是时间问题。
有人会说，检索增强生成（RAG）技术能解决这个问题——给模型接入文档、提供 schema 描述、连接API。但文档不等于拓扑结构，一份解释工作流“应该如何运行”的PDF，永远无法替代展示系统与17个其他自动化流程实时交互的动态图谱。2023年《ACM通讯》的一项研究显示，过时的文档是软件维护失败的主要原因之一，企业系统的演化速度永远快于文档更新。给AI提供这样的“地图”，就像用10年前的导航软件开车，错误在所难免。
我们通常把AI安全等同于对齐训练、护栏机制、红队测试和政策过滤器，但在企业环境中，安全的核心是上下文感知：这个字段关联着哪些系统？哪些自动化流程引用了这个对象？修改会影响哪些下游报告？谁是这个流程的负责人？上次修改是什么时候？没有这些信息，AI代理就是在黑箱里即兴发挥；而拥有了这些信息，它就能在行动前模拟可能产生的影响。可见，“幻觉”与可靠性的区别，往往就在于是否拥有环境可见性。
那么，为什么我们总是把问题归咎于模型？盖弗认为，这是因为模型是“可量化”的：我们能测量困惑度、比较基准分数、发布缩放曲线，甚至可以争论训练数据的质量。相比之下，企业内部的信息拓扑结构要混乱得多，它需要跨职能协调、严格的治理纪律，还要求企业直面自身系统积累的复杂性。承认“我们的基础设施不透明”，显然比说“模型还没准备好”更难。
随着模型能力的提升，一个更隐蔽的风险正在浮现：AI的输出变得越来越流畅、有说服力，这种“流利度”会放大过度自信。当AI代理自信满满地修改系统时，错误可能不会立即显现，而是在几周后以报告差异、合规漏洞或营收预测误差的形式暴露出来。由于模型看起来“很专业”，企业可能会高估其操作安全性，而这种“看似合理的错误”，恰恰是最危险的故障模式。
是时候重新定义AI可靠性的讨论框架了。与其问“模型够好吗？”，不如问“AI代理是否拥有足够的结构上下文来安全行动？”；与其测量基准准确率，不如评估环境可见性；与其争论参数数量，不如审计系统的不透明度。AI可靠性的下一个前沿，不是更大的模型，而是更丰富的上下文层。
这包括企业系统的依赖关系图、实时变更跟踪、所有权映射、历史配置感知，以及行动前的影响模拟。这些工作或许不 glamorous，也不会在社交媒体上引发热议，但却是真正能提升AI可靠性的关键。就像自动驾驶汽车不仅依赖强大的神经网络，还需要激光雷达、摄像头、地图系统和实时环境感知一样，企业AI也需要类似的“感知层”——不是简单的API访问或文档，而是对系统依赖关系的结构化、动态理解。
企业领导者要求AI具备可靠性后再赋予其操作权限，这无可厚非，但等待“无幻觉模型”出现是不现实的。真正的出路，是投资于能让智能行动成为可能的可见性基础设施。我们不会允许初级管理员在不了解依赖关系的情况下修改生产系统，同样，我们也不应该让AI代理这么做。
未来五年，AI技术栈将出现分化：一层聚焦模型能力，包括推理深度、多模态流畅性和成本效率；另一层则聚焦信息/上下文拓扑，包括系统图谱、元数据智能和治理框架。那些只把可靠性视为模型选择问题的企业，将在风险中举步维艰；而将可靠性视为架构属性的企业，将在安全的前提下更快前行。
当我们回头看时，关于“幻觉”的争论或许会显得有些天真。AI本身并非天生鲁莽，它只是在黑暗的房间里摸索。在我们解决环境可见性问题之前，所有关于AI可靠性的讨论，都只是在误诊根源。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/bei-hu-shi-de-ai-ke-kao-xing-zhen-xiang-bu-shi-mo-xing-bu
