AI Agent 不能只给自己打分:反馈回路要先接外部校验
分类:AI编程
在 AI Agent 开发中,让模型检查自己的输出,并不天然带来改进。Dev.to AI 的一篇技术文章指出,许多号称“自我改进”的 Agent 实际上是在给自己打分;如果缺少外部反馈,这类回路往往只是增加模型调用次数,制造虚假的安全感,并带来额外账单。真正有效的反馈回路,需要把测试结果、数据库返回、页面渲染、检索文档或人工判断等外部信号接入评估环节,并通过前后对照验证其价值。
自我纠正不一定变好,反而可能改错答案
文章引用 Huang 及合作者的研究称,缺乏外部信号的内在自我纠正会导致准确率下降,且下降幅度可能很大。在 CommonSenseQA 任务中,GPT-3.5 经过一轮自我纠正后,准确率从 75.8% 降至 38.1%;在 GSM8K 任务中,GPT-4 经过两轮自我纠正后,从 95.5% 降至 89.0%。模型被要求重新考虑时,甚至会把原本正确的答案改成错误答案。
研究还指出,此前一些较为乐观的结果,被研究者发现实际上依赖了外部信号,包括直接获知正确答案。换言之,如果没有可靠的外部参照,模型自我复查难以稳定提升。Anthropic 的 Agent 工程文档也持类似观点:让 Agent 评价自己的输出时,它倾向于给出正面评价,即便结果平平;相比之下,独立评估器更容易被调校得更审慎。
反馈信号必须可验证,也要控制成本
基于此,文章给出的第一个设计原则是:评估器必须建立在生成器之外的信号上。可用信号包括测试是否通过、数据库是否报错、页面是否成功渲染、检索到的文档内容,以及人工判断。相比“这个结果不对”这样模糊的反馈,Agent 更需要能据以修改的明确信息:哪一个测试失败、期望值是什么、缺少哪个字段。
在成本和执行节奏上,反馈也不应一刀切。文章建议:
- 测试、schema 校验、数据库查询等便宜且可验证的检查,可以在每一步运行;
- 成本更高的“模型评审”适合放在检查点,例如草稿完成后、产生副作用前,或 Agent 主动请求审核时;
- 无论采用哪种回路,都应设置明确轮次上限;如果回路无法收敛,应停止并升级处理,而不是继续消耗 token、延迟和预算。
这意味着,反馈回路不是越多层越好。没有可靠信号的回路、没有轮次上限的回路,或者只能给出笼统批评而无法执行修正的回路,都可能沦为装饰。
高风险动作要先授权,再用反馈改进质量
文章还提醒开发者关注反馈回路被允许修改的对象。重写草稿属于低风险操作;重试支付、发送消息则不是。若护栏与 Agent 并行运行,可能出现护栏在副作用已经发生后才完成检查的情况。因此,对于不可逆动作,授权应发生在动作之前,而不是与动作同时进行。
反馈回路是否值得上线,还要靠测量验证。文章建议用同一组任务分别开启和关闭回路,比较准确率、每任务成本和延迟。Anthropic 给出的一个对比例子是:单个 Agent 用 20 分钟、9 美元构建了一个复古游戏生成器;而包含规划器、生成器和评估器的完整流程耗时 6 小时、成本 200 美元,产出质量更高。这类比较把质量提升与成本代价放在同一张账本上,便于团队在构建前确定回路预算。
从“多调用几次模型”到工程化质检
文章还给出了完整设计清单,覆盖四类回路、评估器-优化器伪代码、带每轮审计记录的示例,并强调信号优先、限制轮次、前后测量。
对 AI Agent 而言,反馈回路的价值不在于增加一层看似严谨的自我审查,而在于提供可以改变结果的任务相关信号。文章给出的判断标准并不复杂:评估器是否拥有与任务相关、可靠的外部信号;回路是否通过前后评测证明能改善 Agent 表现。如果两个答案都不是,与其继续维持一个昂贵的装饰性回路,不如把资源投入到测试、检索步骤或人工审核上。
当 Agent 被用于编程、支付重试或消息发送等任务时,反馈回路设计已经从提示词技巧变成工程问题。外部校验、结果评测和人工抽检不是附加项,而是决定 Agent 是否值得扩大使用范围的关键条件。
原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/ai-agent-bu-neng-zhi-gei-zi-ji-da-fen-fan-kui-hui-lu-yao