评测偏差

在 AI Agent 调用工具前加“动作门控”并不新鲜：评分器给拟执行动作打出 0 到 1 的分数，超过阈值就执行，否则放弃或转人工。Dev.to AI 的一篇文章提醒，真正容易出错的是阈值怎么调。如果在有限标注数据上对多个候选阈值做网格搜索，再挑期望收益最高者，离线报告容易虚高。文章把这种现象称为“赢家诅咒”：多个带噪声估计中的最大值天然偏高。