FlashDecoding

大模型输出回答并不是“直接把句子想出来”，而是由提示词编码、KV Cache 复用和逐 token 解码共同完成。掘金一篇技术复盘以简化模型为例，梳理了从输入到输出的推理链路，并重点纠正了 KV Cache、FlashDecoding、残差连接与下一轮输入等常见误读。对开发者而言，这套流程直接关联响应延迟、长文本成本和优化方案的选择。