大模型评估
-
METR 评估 Anthropic:12 倍员工自报提效为何不能直接算作研发提速
METR 对 Anthropic 的研发加速评估中,12 倍员工自报提效与 1.9 倍能力指数加速并非同一口径。报告真正测量的是内部体感、基准能力变化和归因判断,不能混读为整体研发产出翻倍。
-
模型答错也有程度:交叉熵为何成为AI概率预测的评分尺
在AI模型训练中,判断一个分类模型的好坏,往往不能只看它是否答对。交叉熵的价值在于,它能在同样答错的情况下继续区分概率质量。