METR 评估 Anthropic:12 倍员工自报提效为何不能直接算作研发提速

METR 对 Anthropic 的研发加速评估中,12 倍员工自报提效与 1.9 倍能力指数加速并非同一口径。报告真正测量的是内部体感、基准能力变化和归因判断,不能混读为整体研发产出翻倍。

11 月 5 日,评估方 METR 公布了对 Anthropic 的研发加速评估。材料中同时出现两个数字:员工自报提效约 12 倍,模型能力指数进步速度约为过去的 1.9 倍。若把二者直接合并成“AI 让研发效率提升 12 倍”或“整体科研提速 1.9 倍”,都会偏离报告原来的测量对象。

这份评估需要拆成三层看:员工主观感受、基准能力指数变化,以及对加速来源的判断。三者各有边界,也各有不确定性。

12 倍提效:来自员工自报,不是组织交付速度

报告中的约 12 倍并非随机对照实验结果,而来自 Anthropic 在内部 Slack 发起的投票。员工用表情反应表达对当时最新模型的提效感受。METR 明确把这类投票视为很松散的证据,因为回答者未必认真估算过完整工作时间。

因此,到十月形成的约 12 倍自报提效,只能说明部分员工感受到个人任务变快,不能改写成公司已经交付了原来十二倍的研发成果。写代码更快、实验开得更多、阅读材料更省事,都可能改变个人感受;但这些变化要变成可验收成果,还要经过评审、排队、实验失败和协作等待。

  • 自报提效测量的是员工对局部任务的感受。
  • 它不能直接代表完整项目周期。
  • 它也不能与模型能力指数相乘,得出更大的总提效数字。

1.9 倍加速:量的是能力指数,不是模型总分

报告使用的 AECI 是 Anthropic 版本的能力指数,用来概括模型在一组基准上的表现。METR 比较了不同时间段的指数进步速率,转折点放在二〇二五年十月。公开图中,较早趋势约为每年增加 15 个指数点,之后约为每年增加 29 个指数点。

报告对加速的估计为 1.9 倍,95% 置信区间为 1.5 到 2.8 倍。这里的 1.9 倍表示单位时间内取得的指数进步变多,不是模型总分变成过去的 1.9 倍。稳健性分析在改变基准纳入方式、模型定日期和饱和处理后,得到的加速范围约为 1.1 到 2.9 倍,不能与前面的置信区间混写。

能力指数强调可清晰定义、可验证的任务,不能自动覆盖目标含糊、需求经常变化的真实项目。报告也承认,模型基准的进步可能受分布过拟合或指数方法本身影响。因此,把它写成所有科研工作都已加速 1.9 倍,会扩大结论边界。

约八成来自 AI:是归因猜测,不是替代比例

报告认为,观察到的加速不能用训练算力规模增长本身也在加速来解释。这是针对一个候选解释的判断,不等于证明剩余变化全部由 AI 引起。METR 还考察了招聘、数据改进、算法发现以及其他瓶颈变化等因素。

研究者认为,二〇二五年末的加速很可能受到非 AI 因素影响。对于二〇二六年十月的当前加速,他们猜测多数、或许约八成来自 AI,但强调存在很大不确定性。这里的约八成修饰的是当前加速的来源,不是说公司八成代码由模型生成,也不是说八成员工可以被替代。

报告还区分了辅助研究和完全自主研究。研究者被告知,当前研发加速主要来自 AI 辅助,而非完全自主作出的重大贡献。评估在八月到十月进行,METR 获得了比公开材料更丰富的内部信息;但报告披露,Anthropic 有权删节未公开信息,并实际使用了这一权利。评估者也没有请求或获得对未公开模型进行抽样测试的权限。METR 表示没有向 Anthropic 收取费用,但使用了对方提供的设备与免费模型额度。

行业意义:先看测量口径,再谈提效倍数

这份报告提醒读者,阅读 AI 提效评估时要先检查变量定义。个人对省时的感受可以收集,但应与实际记录分开;工具是否真的节省时间,需要写清任务的开始状态和可接受的结束状态,并记录审查、返工、任务类型和等待原因。

涉及持续增长指标,还要提前说明比较的是水平、增加的点数,还是增长率。不同数学定义会得到不同倍数。工程团队不能把代码生成量、完成工单量和上线成果塞进同一张效率图,也不能先选择一个吸引人的数字,再倒推指标定义。

一个能够说明失败任务、返工去向和比较边界的结果,比单独展示一个大倍数更有助于管理决策。12 倍员工自报提效、1.9 倍能力指数加速和约八成 AI 归因,只有分别放回各自口径,才能避免被误读成同一个效率结论。

原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/metr-ping-gu-anthropic-12-bei-yuan-gong-zi-bao-ti-xiao-wei

Like (0)
点点的头像点点
Previous 1天前
Next 13小时前

相关推荐