当大模型无法按指定格式写文案、处理专业文档,或在陌生任务上频繁出错时,很多团队的第一反应是继续训练,尤其是引入强化学习。但掘金上一篇技术文章提出,模型“做不好”并不必然是同一种问题:它可能缺知识、缺规矩,也可能缺技巧。对应的训练方式并不相同,分别是 Mid-training、SFT 和 RL。先判断短板,再决定训练路线,比盲目选择算法更重要。
训练的本质:调整“下一个词”的概率
文章从大模型最基础的机制讲起:模型的核心任务是预测下一个词。这里的“词”指 token,即文本被切分后的最小单元。模型每次生成时,并不是直接“想到”一个答案,而是给一组候选词分配概率。训练的过程,就是把期望出现的词概率调高,把不期望出现的词概率调低。
在这种机制下,模型能力的形成通常被拆成几个阶段。预训练在海量互联网文本上进行,让模型学习语言规律、常识和基本推理,但模型此时未必擅长按人类要求回答问题。Mid-training 则是在已有基础模型上,用目标语言、领域文档、代码等数据继续做“预测下一个词”,相当于补足某些专业知识。SFT 使用“问题—标准回答”样例,教模型按特定格式、语气和流程作答。RL 不再要求模型复现标准答案,而是让模型多次尝试,并根据结果提高高分行为的出现概率。
SFT 不是灌知识,而是立规矩
文章特别强调,SFT 并不是神秘技术。从数学形式上看,它和预训练一样,仍然是预测下一个词。区别主要有两点:第一,数据从杂乱互联网文本变成了准备好的问答样例;第二,在计算损失时,只对回答部分计分,不要求模型学习如何提问。
因此,SFT 更擅长塑造稳定的输出习惯,例如格式、风格、工具调用流程和回答结构。它可以用相对较小的代价,把一个“博学但不听话”的模型变成更符合指令要求的助手。但如果模型本身缺少某个领域的基本概念,单靠 SFT 很难补足。
RL 的侧重点则不同。文章将其概括为“SFT 靠背,RL 靠练”。SFT 倾向于学习训练数据中出现的标准答法,覆盖多种已知写法;RL 则通过反复尝试,把更容易得分的做法集中放大。换句话说,SFT 更像照着地图学习路线,RL 更像拿着奖励信号探索更优路径。不过,文章也提醒,这种区分只是普遍倾向,并非铁律:如果 SFT 数据足够多样,模型也可能具备一定泛化能力;如果奖励设计不当,RL 同样可能学偏。
先诊断短板,再决定训练方式
面对模型表现不佳,文章给出的方法不是先选算法,而是先做能力诊断。
- 如果模型对某个领域概念、专业文档或特定语言几乎完全不会,说明缺的是知识,可考虑 Mid-training;如果相关事实经常更新,则更适合外挂资料库或 RAG。
- 如果模型偶尔能答对,但格式混乱、语气不稳、不会调用工具,说明缺的是规矩,应优先使用 SFT。
- 如果模型已经能答对,只是高质量答案出现频率低,或遇到新情况表现不稳定,才更适合用 RL 放大有效策略。
文章还提出一个更靠前的判断:先看能不能不改模型就解决问题。例如优化提示词、增加工具、改善上下文管理,都可能直接改善效果。对于事实性内容,如果信息经常变化,训练未必是最优解,外挂资料库可能更合适。
如果必须训练,也可以借助 pass@k 这类指标观察模型是否“偶尔会做”。如果多次尝试都无法答对,说明模型基础能力不足;如果多次尝试中已经出现过正确答案,但不够稳定、不够规范,则可通过 SFT 或 RL 进一步优化。
行业意义:数据和环境比算法选择更关键
这篇文章对行业的一个提醒是,不要把“预训练—Mid-training—SFT—RL”当成每个项目必须完整走完的固定流程。基础较强的模型可能直接进入 RL 阶段;只需要规范输出的任务可能只做 SFT;稳定领域知识可能只需 Mid-training。关键在于每一步是否有明确、可检验的目标。
文章还指出,真正影响效果的往往不是选择 PPO 还是 GRPO 这类具体 RL 算法,而是更基础的数据与环境问题:Mid-training 使用的专业数据是否充分,SFT 样例是否高质量,RL 的练习环境和奖励打分是否可靠。很多时候,如果前两项做得足够好,项目未必需要走到强化学习阶段。
对开发团队而言,这种判断框架的价值在于降低训练决策的盲目性。模型优化不是从“要不要微调”开始,而是从“模型到底不会什么”开始。把问题拆成不知道、不会说和不稳定,训练资源才更可能投向真正短缺的能力。
原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/mo-xing-xiao-guo-bu-jia-xian-bie-ji-zhe-shang-qiang-hua-xue