在围绕“轻量化复刻大模型 / KIMI K3”的技术讨论中，Attention Residuals 被重新拆解。掘金平台一篇梳理文章把焦点放在 Transformer 残差连接的长期问题上：标准残差把每一层输出以固定权重相加，层数越深，历史信息越容易稀释。Attention Residuals 的思路，是把深度维度的等权加法改成深度维度的 softmax 注意力，让当前层选择需要读取的历史层输出。
标准残差的瓶颈：所有历史被压成同一个和
现代 Transformer 普遍沿用类似 ResNet 的残差连接，常见写法是 x = x + F(x)。这一机制能缓解深层训练问题，但上述梳理指出，它也会造成前向信息瓶颈：每一层输出都以单位权重加入残差流，最后一段表示不是某一层的干净结论，而是从 token embedding 到中间各层输出的累加。
在 PreNorm 结构下，每层新增量的尺度往往接近。随着层数增加，残差流整体变大，新特征相对占比会下降。文章将这种现象称为信息稀释：残差连接保护了梯度，却没有给前向信息流提供选择机制。换言之，模型可以堆得更深，但不一定能按需回读某一层计算结果。
这一判断与序列建模的演进形成对照。RNN 把历史压缩进一个隐状态，形成时间维瓶颈；Transformer 用注意力让每个位置选择性地读取过去位置。Attention Residuals 把同样的问题搬到深度轴：既然时间维可以用注意力选择历史，深度维也可以不再等权累加。
Attention Residuals：让当前层检索历史层
按照素材中的公式描述，Attention Residuals 为每一层设置一个可学习的伪查询向量，并把此前各层输出以及 token embedding 作为可读取的历史源。当前层对这些历史源计算 softmax 权重，再按权重得到混合表示。与标准残差“上一层状态加新输出”的形式不同，AttnRes 的当前层输入本身就是一次对历史层的选择性加权。
- 历史源不再被压成单一残差流，而是作为多个可访问对象。
- 权重由 softmax 产生，具备竞争性，而不是固定为 1。
- 引入 RMSNorm 可避免某个输出范数更大的历史层仅凭量级获得过高权重。
文章还提到论文中的对比视角。此前方法可以被归入稳定化、门控递推、多状态或跨层访问等路线；AttnRes 的位置，是在深度轴上使用 softmax attention，使跨层访问既密集又具有竞争关系。在 16 层模型的相关表格中，AttnRes 的结果为 1.737/1.746，mHC 为 1.747；在去掉 RMSNorm 的消融中，Full 形式为 1.743 vs 1.737，Block 形式为 1.750 vs 1.746。数字本身并不直接等同于工程结论，但被文章用来说明归一化与竞争性选择的重要性。
Block AttnRes：从理论形态走向工程落地
完整形态的 Attention Residuals 要求每层都能访问此前所有层输出。素材指出，深度通常小于序列长度，算术量本身并非最大障碍，真正的工程压力来自激活保存、重计算失效以及流水线并行中的通信与传递。如果每一层都要保留和传递完整历史，训练系统会变得复杂。
Block AttnRes 是面向生产的折中方案。它不再保存每一层的原始输出，而是每若干层形成一个块表示，并在“历史块 + 当前块部分和”上做深度方向注意力。这样做的代价是块内分辨率被牺牲，模型无法逐层细读同一块中的所有输出；收益是历史存储更少，训练、推理和流水线并行更容易落地。
从工程角度看，这一设计更接近“摘要检索”而非“全量档案”。轻量化模型通常对内存、并行效率和推理成本更敏感，因此 Block 版本比完整形态更值得观察。
对轻量化大模型的意义：从固定累加到选择性读取
从素材给出的解释看，Attention Residuals 的价值在于改变深层信息的组织方式。标准残差让历史输出持续累加，Block AttnRes 则把历史压缩成块表示，再通过注意力选择。它试图让模型不再只依赖固定加法，而是对历史层输出做更有针对性的读取。
素材并未给出其已在 KIMI K3 或具体产品中长期验证的信息。目前它更像是一条从残差机制出发的结构探索路线：标准残差解决“能不能训深”，而 Attention Residuals 试图回答“每一层该如何读历史”。在轻量化大模型语境下，这种从固定累加到深度检索的变化，提供了新的观察点。后续仍需要看训练稳定性、显存开销、推理延迟以及更大规模下的表现。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/cong-kimi-k3-fu-ke-kan-qing-liang-hua-da-mo-xing-attention
