反馈回路
-
AI Agent 不能只给自己打分:反馈回路要先接外部校验
许多 AI Agent 的“自我改进”回路只是让模型给自己打分。研究与工程实践显示,缺少测试结果、数据库状态、文档检索或人工判断等外部信号时,自我纠正可能降低准确率。有效的反馈回路需要明确校验信号、设置轮次上限,并在高风险动作前完成授权与测量。
许多 AI Agent 的“自我改进”回路只是让模型给自己打分。研究与工程实践显示,缺少测试结果、数据库状态、文档检索或人工判断等外部信号时,自我纠正可能降低准确率。有效的反馈回路需要明确校验信号、设置轮次上限,并在高风险动作前完成授权与测量。