分类：大模型
评测对象不是回答，而是最终状态
当 AI Agent 开始多轮调用工具并改变外部系统状态时，质量问题往往不再是一次回答错误，而是某个流程偏移后被后续步骤放大。Anthropic 在工程博客文章《Demystifying evals for AI agents》中，将这种难以定位问题的状态称为“flying blind”，即盲飞。文章总结了其团队内部和前沿客户在 Agent 评测中的经验。
在 Anthropic 的框架中，Agent 评测包含几个基础概念：Task 是带输入和成功标准的测试；Trial 是一次尝试，由于输出存在随机性，通常需要多次运行；Grader 是评分逻辑；Transcript 是完整执行轨迹；Outcome 是环境最终状态。文章用订机票任务说明差异：Agent 回复“已为您订好”并不等于成功，真正要检查的是数据库中是否生成订单。文中还提到，Opus 4.5 在 τ2-bench 的订机票题中发现政策漏洞并给出更优方案，但按原评测被判失败，这说明评测标准有时需要跟上模型能力。
手测难以支撑规模化迭代
早期依靠手动测试和直觉可以推进产品，但 Agent 上线后，团队会遇到等用户投诉、难分真实退步与噪声、发布前无法覆盖大量场景、新模型升级测试周期长等问题。Anthropic 提到，Claude Code 也经历快速迭代，之后才为“简洁度”“文件编辑”和“过度设计”等复杂行为补充评测。Descript 将视频编辑 Agent 的成功标准拆为不破坏已有内容、执行用户指令、结果质量足够好；Bolt 在用户规模扩大后用 3 个月搭建评测体系。
评分器方面，文章列出代码评分器、模型评分器和人工评分器，建议组合使用确定性检查、LLM 评分和人工校准。评测还可分为能力评测和回归评测：前者关注新能力，通过率可以从低开始；后者关注旧能力是否保持，通过率应接近 100%。能力评测成熟后可转为回归测试。不同 Agent 的重点也不同：编码 Agent 看代码能否运行、测试是否通过，文章提到 SWE-bench Verified 一年内从 40% 提升到 80% 以上；对话 Agent 看结果状态、过程约束和语气；研究 Agent 检查来源支撑和关键事实；电脑操作 Agent 检查后端状态。对于稳定性，Anthropic 推荐 pass@k 和 pass^k：前者看 k 次中至少成功一次，后者看 k 次全部成功。素材举例称，单次成功率 75%，连续 3 次全部成功约为 42%。
八步法从真实失败案例开始
Anthropic 给出的方法并不要求团队一开始就拥有庞大测试集。文章建议从真实失败中提炼任务，并围绕既有手测内容建立用例。其八步思路可概括为：
- Step 0：尽早开始，从真实失败中提炼 20-50 个任务。
- Step 1：从已有手测、bug 列表和客服工单中提取用例。
- Step 2：任务无歧义并附参考答案；长期 0% 通过先查任务定义。
- Step 3：正反场景都测，避免只测“该搜索时搜索”。
- Step 4：每次试验独立启动，保持环境干净，防止读取残留状态。
- Step 5：评分关注最终产出而非固定路径，多步骤可给部分分，LLM 评委信息不足可答 Unknown。
- Step 6：阅读 Transcript，判断评分器是否误判。
- Step 7-8：警惕能力评测饱和，并让评测成为团队日常。
文章还提到，低分不一定来自模型能力不足。Opus 4.5 在 CORE-Bench 上最初只有 42%，后来发现评分过于死板，例如期望答案为 96.124991，模型回答 96.12 会被判错，且任务描述存在模糊。修复评分和任务后，分数提升到 95%。
多层防线比单点工具更重要
在 Anthropic 的描述中，评测不是单一工具，而是多层防护。自动化评测速度快、可复现，但可能与线上场景脱节；生产监控能反映真实问题，但已触达用户；A/B 测试、用户反馈和人工复盘也各有盲区。文章借用瑞士奶酪模型称，多层叠加才能拦截更多问题。较合理的组合是自动化评测支持快速迭代，生产监控提供真实依据，人工评审定期校准。
文章还提到 Harbor、Promptfoo、Braintrust、LangSmith 与 Langfuse 等工具，但提醒框架只是加速器，长期价值来自持续打磨的测试用例和评分器。对开发团队而言，这套方法的意义是把模糊的质量判断转化为可追踪的工程问题：不是“感觉最近变差了”，而是某个编号任务由通过变为失败。素材给出的行动建议是：从 bug 列表中挑出 20 个真实失败案例，为每个案例写清通过标准，再运行一遍并阅读轨迹。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/cong-gan-jue-bian-ben-dao-ke-ding-wei-anthropic-shu-li-ai
