在长上下文模型持续增加记忆容量的路线之外，如何让固定大小的状态“记得准、忘得对”，是线性注意力关注的问题。掘金平台一篇围绕 KIMI K3 相关技术报告的复刻文章，将焦点放在 Kimi Delta Attention（KDA）上：它不把遗忘停留在每个注意力头的粗粒度开关，而是把衰减细化到 channel，通过有界衰减与 delta-rule 写入，在固定状态矩阵上完成可控记忆。
固定“白板”如何替代无限“书架”
文章把传统 softmax 注意力比作可以不断存放图书的书架：上下文越长，KV cache 越大，能精确记住每本书。KDA 则更像一块固定大小的白板，状态矩阵 S 的容量不随上下文扩张。问题随之改变：模型不能只“全部记住”，而必须决定哪些内容保留、哪些内容淡化、哪些内容被新信息覆盖。
素材指出，普通线性注意力容易形成无选择性的信息累积；GDN 虽然引入 delta rule，但遗忘仍是 head-wise 的粗粒度控制。KDA 的改进方向是在状态更新的转移矩阵中加入对角门 Diag(α_t)，让每个 channel 拥有独立保留率，同时保留 chunkwise 可分块并行能力。文章将其概括为“Diagonal-Plus-Low-Rank”的对角加低秩结构。
先按 channel 褪色，再按 delta 写入
从机制上看，KDA 的单头状态更新可以理解为两个连续动作。首先是按通道衰减旧状态：α_t = exp(g_t)，其中 g_t ≤ 0，α_t 作为逐 channel 的保留因子，取值范围为 0 < α_t <= 1，使不同维度可以按不同速度遗忘。其次是按 delta rule 写入新内容：β_t 控制写入强度，取值在 (0,1) 区间；当 β_t 接近 1 时，表示该方向的旧记忆会被完全重写。
文章给出的核心递推是：先用 (I − β_t k_t k_tᵀ) 削弱状态中与当前 key 对齐的成分，再写入 β_t k_t v_tᵀ。直观理解是“写新前先擦旧”，避免旧内容与新内容在同一方向上互相干扰。其等价形式则更像在线学习：计算 v_t 减去旧状态沿 k_t 方向已记住的内容，只写入残差增量。
- Diag(α_t)：channel-wise 有界衰减，控制“忘多少”。
- β_t：delta-rule 写入强度，控制“覆盖多少旧记忆”。
- S_t：固定大小状态矩阵，承担压缩后的记忆。
- o_t = S_tᵀ q_t：查询仍然根据 Key-Value 关系读取内容。
文章强调，KDA 并不要求注意力必须出现 Softmax。它通过状态矩阵完成读取，仍可视为“Query 根据 Key-Value 关系读取内容”的一种递推、核化、带门控实现。注意力在这里被理解为内容寻址，而非某个具体函数。
训练、推理与位置信息的工程安排
围绕可训练性和推理效率，素材展示了 KDA 层的实现细节。模型包含 q、k、v 投影，以及 beta 和 decay 相关参数；为了让无位置编码的模型获得 token 级位移信息，q、k、v 还会经过宽度为 4 的因果 depthwise ShortConv。文章将其描述为一种位置编码替代方案。
在执行形态上，训练或 prefill 阶段采用 chunkwise 方式：块内并行计算，块间串行传递状态；自回归 decode 且已有状态时，则走单步更新。素材称两种形态数值等价，并提到中间计算可使用 fp32，以避免递推状态累积时丢精度。输出侧则包含 head-wise RMSNorm 和依赖输入的门控，再经过输出投影。
与 KIMI K3 相关报告的连接
这篇复刻文章称其为复刻 KIMI K3 KDA 的第一部分，因篇幅较长分为两期发出。文章将 KDA 放在 KIMI K3 相关架构语境中解读，并称 KDA 有两篇直接相关报告：以 K3 报告为主线，再以 Kimi Linear 报告补充算法细节。对读者而言，KDA 的价值不止是代码结构，还在于解释固定状态约束下如何让记忆更新更接近“可控”。
素材将 delta rule 与递归最小二乘类比：k_t 可视为输入，v_t 可视为监督，S 可视为线性映射权重，β_t 类似可变学习率。按这一视角，KDA 将注意力建模为在线最小二乘过程，理论上比纯累积的线性注意力更具表达力。
文章还提到，当上下文超过固定记忆容量时，KDA 并非单独承担全部记忆任务，而是可与 MLA 全局层混合使用，形成局部状态管理与全局信息补充的组合。按照这一描述，其意义在于为轻量化推理提供另一种选择：减少对不断增长的 KV cache 的依赖，用更细粒度的遗忘与写入策略维持上下文理解能力。
分类：大模型
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/gu-ding-zhuang-tai-xia-de-ji-yi-guan-li-kda-yong-tong-dao
