AI Agent 不能只给自己打分:反馈回路要先接外部校验

许多 AI Agent 的“自我改进”回路只是让模型给自己打分。研究与工程实践显示,缺少测试结果、数据库状态、文档检索或人工判断等外部信号时,自我纠正可能降低准确率。有效的反馈回路需要明确校验信号、设置轮次上限,并在高风险动作前完成授权与测量。

AI Agent 不能只给自己打分:反馈回路要先接外部校验

分类:AI编程

在 AI Agent 开发中,让模型检查自己的输出,并不天然带来改进。Dev.to AI 的一篇技术文章指出,许多号称“自我改进”的 Agent 实际上是在给自己打分;如果缺少外部反馈,这类回路往往只是增加模型调用次数,制造虚假的安全感,并带来额外账单。真正有效的反馈回路,需要把测试结果、数据库返回、页面渲染、检索文档或人工判断等外部信号接入评估环节,并通过前后对照验证其价值。

自我纠正不一定变好,反而可能改错答案

文章引用 Huang 及合作者的研究称,缺乏外部信号的内在自我纠正会导致准确率下降,且下降幅度可能很大。在 CommonSenseQA 任务中,GPT-3.5 经过一轮自我纠正后,准确率从 75.8% 降至 38.1%;在 GSM8K 任务中,GPT-4 经过两轮自我纠正后,从 95.5% 降至 89.0%。模型被要求重新考虑时,甚至会把原本正确的答案改成错误答案。

研究还指出,此前一些较为乐观的结果,被研究者发现实际上依赖了外部信号,包括直接获知正确答案。换言之,如果没有可靠的外部参照,模型自我复查难以稳定提升。Anthropic 的 Agent 工程文档也持类似观点:让 Agent 评价自己的输出时,它倾向于给出正面评价,即便结果平平;相比之下,独立评估器更容易被调校得更审慎。

反馈信号必须可验证,也要控制成本

基于此,文章给出的第一个设计原则是:评估器必须建立在生成器之外的信号上。可用信号包括测试是否通过、数据库是否报错、页面是否成功渲染、检索到的文档内容,以及人工判断。相比“这个结果不对”这样模糊的反馈,Agent 更需要能据以修改的明确信息:哪一个测试失败、期望值是什么、缺少哪个字段。

在成本和执行节奏上,反馈也不应一刀切。文章建议:

  • 测试、schema 校验、数据库查询等便宜且可验证的检查,可以在每一步运行;
  • 成本更高的“模型评审”适合放在检查点,例如草稿完成后、产生副作用前,或 Agent 主动请求审核时;
  • 无论采用哪种回路,都应设置明确轮次上限;如果回路无法收敛,应停止并升级处理,而不是继续消耗 token、延迟和预算。

这意味着,反馈回路不是越多层越好。没有可靠信号的回路、没有轮次上限的回路,或者只能给出笼统批评而无法执行修正的回路,都可能沦为装饰。

高风险动作要先授权,再用反馈改进质量

文章还提醒开发者关注反馈回路被允许修改的对象。重写草稿属于低风险操作;重试支付、发送消息则不是。若护栏与 Agent 并行运行,可能出现护栏在副作用已经发生后才完成检查的情况。因此,对于不可逆动作,授权应发生在动作之前,而不是与动作同时进行。

反馈回路是否值得上线,还要靠测量验证。文章建议用同一组任务分别开启和关闭回路,比较准确率、每任务成本和延迟。Anthropic 给出的一个对比例子是:单个 Agent 用 20 分钟、9 美元构建了一个复古游戏生成器;而包含规划器、生成器和评估器的完整流程耗时 6 小时、成本 200 美元,产出质量更高。这类比较把质量提升与成本代价放在同一张账本上,便于团队在构建前确定回路预算。

从“多调用几次模型”到工程化质检

文章还给出了完整设计清单,覆盖四类回路、评估器-优化器伪代码、带每轮审计记录的示例,并强调信号优先、限制轮次、前后测量。

对 AI Agent 而言,反馈回路的价值不在于增加一层看似严谨的自我审查,而在于提供可以改变结果的任务相关信号。文章给出的判断标准并不复杂:评估器是否拥有与任务相关、可靠的外部信号;回路是否通过前后评测证明能改善 Agent 表现。如果两个答案都不是,与其继续维持一个昂贵的装饰性回路,不如把资源投入到测试、检索步骤或人工审核上。

当 Agent 被用于编程、支付重试或消息发送等任务时,反馈回路设计已经从提示词技巧变成工程问题。外部校验、结果评测和人工抽检不是附加项,而是决定 Agent 是否值得扩大使用范围的关键条件。

原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/ai-agent-bu-neng-zhi-gei-zi-ji-da-fen-fan-kui-hui-lu-yao

Like (0)
点点的头像点点
Previous 4小时前
Next 2小时前

相关推荐