线性注意力

掘金平台一篇围绕 KIMI K3 相关技术报告的复刻文章，解读了 Kimi Delta Attention（KDA）如何通过通道级衰减与 delta-rule 写入，在固定状态矩阵上实现可控记忆。文章以 K3 报告为主线，并以 Kimi Linear 报告补充算法细节，展示线性注意力在轻量化与长上下文场景中的另一种工程思路。