在 KIMI K3 轻量化复刻的讨论中,Multi-Token Prediction(MTP)与 EAGLE-3 被放在同一条技术链路中。素材显示,MTP 通过增加一个旁路预测头,让主干模型在一次前向计算中不仅服务 x[t+1] 的主预测,还利用已知的 x[t+1] 预测 x[t+2]。它一方面缓解“每 token 只有一个监督信号”的训练瓶颈,另一方面为 EAGLE-3 投机解码的草稿模型提供微调起点。
为什么要预测 x[t+2],而不是重复预测 x[t+1]
素材指出,主模型已经在第 t 位预测 x[t+1],并拿到对应梯度。如果 MTP 也预测同一位置,会与主模型重复,缺少信息增益。MTP 的做法是把 x[t+1] 作为 teacher-forced 条件输入,让 backbone 的同一隐藏态再往后看一步。这样,主干前向一次经过 93 层后,不再只产出一个下一步监督,而是同时服务两个未来 token 的预测。
这里的关键是信息利用率。传统 NTP 训练中,主干计算昂贵,但每一步只对应一个交叉熵监督。MTP 在几乎不增加推理成本的前提下,为同一份隐藏态增加一路监督,素材将其概括为提高每步前向计算的信息使用效率。对训练来说,这相当于让模型在原有自回归目标之外,额外学习一个更靠后的位置分布。
MTPLayer 如何把隐藏态和下一 token 嵌入融合
在实现上,MTP 输入由两部分组成:主干最终隐藏态 h[:, :-1],以及下一 token 嵌入 emb(x[:, 1:])。两者形状均为 (B, T-1, d)。素材显示,它们会先分别经过 h_norm 和 e_norm 两个 RMSNorm(dim),再拼接成 (B, T-1, 2d),随后通过一个无 bias 的 Linear(2d→d) 投影,恢复为主干维度。
融合后的特征会进入一个独立的 Kimi3Block。该块与主干块结构一致,但参数独立,内部可选择 KDA 或 GatedMLA,FFN 则根据层级条件走 Dense 或 MoE 分支。块处理完成并经输出归一化后,MTP 隐藏态再进入主模型共享的 lm_head,得到 x[t+2] 的 logits。素材还提到,损失计算会用 labels[:, 2:] 与 MTP 输出对齐,而 MTP 层也可以继承主干的 reset_mask 和 attn_mask。
- 分别归一化:避免两路特征在 2d 拼接后尺度互相干扰。
- 共享词表头:MTP 只输出隐藏态,最终仍由
lm_head投影到词表。 - 序列条件:只有启用 MTP 且
T > 2时,forward 才调用该分支。
从训练头到推理加速:EAGLE-3 的草稿起点
MTP 的另一层意义在推理侧。素材明确提到,预训练完成后,这个 MTP 头可以作为 EAGLE-3 draft 的微调起点。投机解码被抽象为“草稿多步产候选 + 一次 verify 收敛为 1 个以上 token”,其共同链路是目标模型打分、验证、接受前缀并可能获得 bonus。
在这套机制中,目标模型分布记为 p,草稿模型分布记为 q,接受率记为 r,草稿步数记为 L,MTP 损失权重记为 λ。MTP 在训练时已经学习如何基于当前隐藏态和下一 token 嵌入预测更靠后的位置,因此可以被转化为草稿生成候选的入口。也就是说,训练阶段为“多预测一步”建立的结构,在推理阶段可接入草稿生成与目标验证的流程。
行业意义:训练信号与推理链路开始共用同一模块
对大模型工程而言,这种设计的价值在于训练和推理优化不再完全分离。MTP 既是一个训练目标扩展,也是一个可复用的推理加速接口。它提醒开发者,在复刻类似系统时,不能只关注模型层数、词表或损失函数,还需要理解序列偏移、归一化位置、共享 lm_head、掩码继承和缓存初始化等细节。
同时,素材也保留了边界:投机解码的实际效果取决于接受率、草稿步数和验证成本。MTP 提供的是结构和参数起点,而不是无条件加速。更准确的理解是,MTP 把 KIMI K3 复刻中的训练信息利用率和 EAGLE-3 推理加速连接到了同一个旁路模块上。
原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/kimi-k3-fu-ke-li-de-mtp-rang-zhu-gan-duo-yu-ce-yi-bu-ye-wei