“示例多了反而变差”的旧解释，可能一直找错了方向
在提示工程教程里，few-shot 示例长期被视为提升模型表现的通用手段：给模型几个例子，它更容易理解任务格式与要求。与此同时，业内也流传另一种说法——示例过多会“扭曲”模型内部表征，从而导致性能下降。最近一篇论文对后一种解释进行了系统检验，结论并不支持“示例内容把模型带偏”的直觉。
这项研究名为《Few-Shot Degradation Is Not What It Seems》，作者为 Volodymyr Ovcharov，机构为乌克兰 LEX AI Platform / legal.org.ua。论文在 12 个开源权重模型、两种架构上测试了 few-shot 行为，发现真正造成效果倒退的关键变量，往往不是示例内容本身，而是 prompt 变长带来的副作用。
实验发现：few-shot 收益高度依赖“模型 × 任务”组合
研究者将同一批模型放到两个任务上进行观察，使用同一套示例格式。结果显示，不同任务之间的收益差异非常明显：同一批模型在一个任务上可以提升 24 分，在另一个任务上只提升 3.4 分，甚至有两个模型出现下降。
这说明 few-shot 并不是可以默认开启的通用增益，而是一种高度依赖“任务 × 模型组合”的策略。对于已经把 few-shot 当作标准组件接入线上系统的团队来说，这一点尤其值得注意。
过去，很多解释将 few-shot 性能下降归因于“失真假说”：示例会把模型的内部表征推离正确方向，位移越大，伤害越大。研究中确实观察到，部分表现倒退的模型存在较大的表征位移。但论文指出，这种解释主要来自相关性观察，此前并没有进行因果分离。
长度是被忽略的关键变量：随机文本对照揭示“长度伪影”
论文强调，一个此前很少被单独测量的变量是 prompt 长度。在该实验设置中，few-shot prompt 比 zero-shot prompt 长 5 到 8 倍。只要输入变长，模型隐藏状态就会发生变化，即使新增内容没有实际语义。
为了区分“长度效应”和“内容效应”，研究者采用了一个简单但关键的对照方法：把 few-shot 中的示例替换为等长随机 token，再测量隐藏状态位移。这样测出的变化，对应的是纯粹由 prompt 变长造成的影响；将其从总位移中扣除后，剩余部分才归因于示例内容。
作者把这个残量称为 content delta，即“内容增量”。实验结果显示，prompt 长度差异单独解释了观测位移的 40% 到 79%。换句话说，过去研究中测到的“位移”，可能有相当一部分与示例内容无关。
内容重构不是损伤信号，长度噪声才是更可能的解释
进一步分析显示，正的 content delta 意味着：因为示例内容而重构表征越多的模型，从 few-shot 中受益越多。这一结果与“失真假说”的预测方向相反。
论文据此提出，有意义的表征重构并不是模型被示例“带偏”的证据，反而可能是有效上下文学习的表现。模型读到示例后重新组织内部空间，说明它在利用示例；真正没有反应的模型，才更像没有从示例中学到东西。
在受测模型中，Llama 3.3 70B 的退化最为严重，但它的 content delta 最低，说明其巨大的表征位移主要来自长度伪影，而不是示例内容发挥了负面作用。研究者随后对该模型进行了干预：直接屏蔽其对示例的注意力。结果显示，该模型的准确率回到了 zero-shot 基线之上。
这一干预实验为“长度噪声导致退化”的解释提供了更直接的证据：如果退化主要来自示例内容本身，屏蔽示例不应带来这样的恢复；但如果退化来自长度相关噪声，屏蔽示例后不再退化则符合预期。
对提示工程的启示：先区分“内容收益”与“长度副作用”
这篇研究并不意味着 few-shot 应该被弃用，也不意味着示例越多越好。其实验范围是 12 个开源模型在两个乌克兰语分类任务上的表现，不能直接外推到所有场景。
它更重要的价值，在于提供了一个可迁移的对照方法：当我们在 prompt 中加入任何内容时，都应该区分“内容本身带来的收益”和“输入变长带来的副作用”。
- few-shot 示例的收益，可能有一部分只是 prompt 变长造成的。
- 表征发生大幅变化，不一定意味着模型被示例带偏，也可能是模型正在利用示例。
- 同一套示例在不同模型、不同任务上的收益可能差异巨大，不适合作为全局默认配置。
- 在自动拼装上下文的 Agent 系统中，长度变量更难控制，长度对照的重要性会进一步提高。
论文的数据已在 HuggingFace 公开，数据集名称为 overthelex/attention-analysis-fewshot。对于需要在实际系统中调优 prompt 的开发者而言，这项研究提供了一个更谨慎的判断框架：在确认“加了示例有效”之前，先确认有效的是内容，还是长度。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/fewshot-shi-li-wei-he-you-shi-shi-de-qi-fan-yi-xiang-shi
