AI Agent 已经可以参与完整工程交付，但真正决定产品质量的，往往不是模型生成代码的速度，而是人工审核能否拦住隐性错误。一篇来自掘金的项目复盘记录了这样一次实践：一名开发者使用 Claude Code 和国产模型 API，在两个晚上完成了一个数据产品，覆盖 32 个品牌、720 次 AI 问答，总 API 花费不到 20 元。项目中最有价值的部分，并不是 Agent 写出了多少代码，而是六次人工审核拦截。
Agent 负责执行，Spec 决定起点
该项目关注的是智能清洁品牌在 AI 引擎中的可见性：当用户询问“best robot vacuum”时，哪些品牌被推荐、排在第几、AI 如何评价相关品牌。最终产出包括一份 8 章节 HTML 报告、每个品牌一页的“AI 体检单”，以及一个可以季度复测的监测管线。
从工程实现看，这套系统并不复杂：Python 调用多家模型 API，完成采集、解析、聚合和报表，并配有 38 个单测。文章称，类似工作量两年前可能需要一个小团队两周，如今一个人两个晚上即可完成。
项目的前提是 Spec 先行。开发者在动手前写了一份完整设计文档，明确样本分层、五维问题集、指标定义、报告结构和红线。Agent 按 Spec 执行，人只在关键节点介入。这里的核心不是让模型自由发挥，而是先把问题定义清楚。Spec 的质量，直接决定了 Agent 产出的质量。
六次人工拦截，分别拦住了什么
复盘中最值得注意的，是六次人工审核。它们都不是普通的代码语法错误，而是分布在事实核查、口径定义、安全边界和语义判断上。
- 联网能力是否真实。配置了联网搜索工具的引擎，实测回答中却出现 “As of my last update”，并推荐 2022 年的老机型。开发者编写探针脚本验证后发现，响应中并没有搜索结果字段。如果无人审核，系统可能把训练记忆当成实时搜索上报，整个方法论都会失效。最终，项目把测量拆成“记忆层”和“搜索层”。
- 引用是否张冠李戴。报告曾引用所谓“AI 对科沃斯的评价”，但原文出自 “Is Roborock legit?” 的回答，只是顺带提到了 Ecovacs。自动抽取逻辑在“句子包含品牌名”这一点上是正确的，语义上却错了。修正后，报告只引用该品牌自己被提问时的回答。
- 指标口径是否一致。LLM 解析出的提及率为 32%，正则解析结果为 57%。差异来自 LLM 会漏掉它认为不重要的提及。最终，提及率改用确定性正则，以保证可复现；裁决和情感判断则交给 LLM，处理正则无法完成的语义任务。
- 品牌别名是否覆盖。AI 回答中会出现 “Roomba” 而不是 “iRobot”，出现 “Deebot” 而不是 “Ecovacs”。如果缺少别名机制，头部品牌的数据可能全部出错。
- 密钥是否泄漏。错误信息中曾出现完整的 key URL，API key 被写进日志。Agent 生成的代码功能正确，但安全意识不足。处理方式包括改用请求头传 key、日志脱敏，并重置已泄漏的 key。
- 错误现场是否保留。某模型返回 404，错误信息只有 “Not Found”。查看响应体后才发现，真实原因是该模型已对新用户关闭。此后，所有引擎错误都会保留响应体摘录，方便排查。
人审清单：从代码正确走向结果负责
这六次拦截共同勾勒出一份人类审核清单：第一，验证数据源能力是否真实；第二，核对引用是否对应原始问题；第三，确保指标口径一致；第四，补齐实体别名；第五，检查密钥和日志安全；第六，保留错误响应现场。
换句话说，Agent 能完成实现，但不能自动承担结果责任。自动开发越快，人审节点越重要。人审的对象也不再只是代码是否能跑，而是报告是否可信、数据是否可复现、产品是否可交付。
行业意义：实现成本下降，判断价值上升
这一案例也折射出 AI 编程时代岗位边界的调整。文章的判断是：出售实现时间的岗位在收缩，而定义问题、审核判断和署名负责的位置变得更稀缺。工程素养、系统思维和数据敏感并没有失效，只是从按工时交付代码，转向沉淀为自己名下的数据资产、产品和报告。
代码本身可以被任何人或 Agent 在两天内复刻，但积累下来的基线数据、署名报告和读者信任难以复刻。对从业者而言，更现实的问题不是还能不能写代码，而是下一次产出的署名是谁，资产归谁。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/ai-zi-dong-kai-fa-yue-kuai-gong-cheng-shi-yue-yao-ba-hao
