大模型输出回答并不是“直接把句子想出来”，而是由提示词编码、KV Cache 复用和逐 token 解码共同完成。掘金一篇技术复盘以简化模型为例，梳理了从输入到输出的推理链路，并重点纠正了 KV Cache、FlashDecoding、残差连接与下一轮输入等常见误读。对开发者而言，这套流程直接关联响应延迟、长文本成本和优化方案的选择。
prefill 与 decode：先批量处理提示词，再逐字生成
推理可分为两个阶段。第一阶段是 prefill：提示词中的所有 token 一次性进入 Transformer，模型批量计算 Q、K、V，并把 K 和 V 存入分页 KV cache。此时 Q 的 token 数较多，计算可以并行展开，属于计算密集阶段。
随后，模型生成第一个 token，进入 decode。每一轮 decode 只处理一个新 token：先根据 token id 查 embedding 表得到输入向量，再逐层完成 attention 与 FFN；最后一层输出状态向量，与词表矩阵相乘得到词表规模的分数，经 softmax 变为概率，再通过 top-k 抽样或取最高分得到新的 token id。
文章用向量宽度 128、共 4 层、词表 5 万的简化模型说明流程；真实 Qwen3-0.6B 则为 1024 宽、每头 128、28 层、词表 151936。规模不同，但链路一致。用户看到的每个字，都对应一轮完整前向计算。
KV Cache 与 FlashDecoding：长上下文瓶颈在“读历史”
KV Cache 是上下文与生成速度之间的桥梁。每一层都会用本层权重重新投影出 K 和 V，新的 K、V 追加写入该层缓存；生成新 token 时，Q 需要与历史 K 打分，再由 softmax 得到权重，并按权重对历史 V 加权求和。文章给出的 attention 过程是：s_j = q · k_j / √d，softmax 得到 a_j，输出向量为 Σ a_j · v_j。
这个输出向量不是字，也不是概率或 logits，而是当前 token 读完历史后被改写出来的一组数字。随着上下文变长，每生成一个字都要重读历史 KV：简化模型是 4 层各读一次，28 层模型则对应 28 次。FlashDecoding 的优化位置正是“每层 attention 读历史 KV”。
- 切分的是历史 K/V，不是最终答案；
- 每个计算单元得到的是完整维度的局部输出向量；
- 合并依赖各段最大分数和权重和进行加权平均，而不是拼接；
- 文中例子显示，不切分得到 [1.407, 0.269]，切两段合并后仍为 [1.407, 0.269]。
这意味着，并行化并不是把结果切成几块再拼起来，而是让不同单元分别读取不同历史片段，再按统一尺度合并。长文本优化能否保持结果一致，往往取决于这些细节。
纠错点：残差不是重复，下一轮输入也不是最后一层向量
残差连接是常见误读之一。一个 Transformer 层内有 attention 和 FFN 两个子层，每个子层都有自己的残差路径。以 Pre-Norm 为例，原始向量 x0 经 attention 得到 h1，再与 x0 相加为 x1；x1 经 FFN 得到 h2，再与 x1 相加。第二次相加的对象是 x1，不是 x0，因此不是重复。4 层模型共包含 4 层 × 2 次 = 8 次残差相加。
生成闭环也有一个关键纠错：下一轮 decode 的输入，不是最后一层状态向量，而是新 token id 查 embedding 表得到的输入向量。最后一层向量已经用于生成词表分数，是本轮终点；下一轮要处理的是刚生成 token 的表示。同一个 token id 会走两条路：一条查表进入下一轮计算，一条解码成文本展示给用户。
embedding 表的大小为词表大小乘以向量宽度，简化模型是 50000 × 128，Qwen3-0.6B 是 151936 × 1024。token id 只是行号，本身不带语义；进入模型的是训练中学出的向量。位置信息不在这张表里，KV cache 保存的也不是 embedding，而是每层投影出的 K 和 V。
行业意义：推理优化要回到具体链路
这类流程复盘的价值，是把“模型生成回答”拆成可检查的工程环节。理解 prefill 与 decode 的差异，有助于判断算力利用和延迟来源；理解 KV Cache 的写入、读取与合并方式，也能更准确地评估 GQA、分页缓存和 FlashDecoding 等方案。
素材还提到，Qwen3-0.6B 有 16 个 Q 头、8 个 KV 头，两个 Q 头共用一组 K/V，因此 KV cache 可省一半；每层 attention 出口会先把 16 份各 128 维结果拼接成 2048，再压回 1024。真实模型比简化模型复杂，但核心链路并未改变。当大模型进入生产环境，理清这些环节，比单纯记住优化名词更接近工程问题本身。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/du-dong-da-mo-xing-zhu-zi-sheng-cheng-kv-cache-tui-li-lian
