韩国科学技术院（KAIST）与Mila研究院的科学家们近期提出了一种创新的Transformer架构——混合递归（Mixture-of-Recursions, MoR），该设计通过结合参数共享与自适应计算技术，显著提升了大型语言模型（LLM）的运算效率。实验数据显示，MoR在保持参数量和计算预算不变的情况下，推理速度可达传统Transformer的2.06倍，同时降低25%的峰值内存占用。
LLM扩展的挑战与现有方案
当前LLM的性能提升高度依赖模型规模的扩大，但随之而来的内存与算力需求已成为非超大规模数据中心的部署瓶颈。现有优化方案主要聚焦两类方法：
- 参数共享技术：如层绑定（Layer Tying）通过跨层复用权重减少独立参数量
- 自适应计算机制：例如早期退出（Early Exiting）允许模型对简单token提前终止计算
然而，如何协同整合这两种策略始终是未解的难题。
MoR的核心技术突破
该架构基于递归Transformer改进，通过两个关键创新实现突破：
- 动态深度路由系统
- 采用轻量级路由器为每个token分配最佳递归深度
- 类似混合专家（MoE）的路由机制，但以递归深度替代专家网络
- 根据token复杂度动态决定层块应用次数，避免冗余计算
- 递归感知KV缓存优化
- 传统KV缓存在递归模型中易成内存瓶颈
- 选择性存储活跃token的键值对，减少内存流量
- 无需训练后修改即可提升吞吐量
性能验证与商业价值
研究人员在1.35亿至17亿参数规模的模型上进行了测试：
- 准确性：同等计算预算下，MoR模型少样本准确率达43.1%（基线42.3%）
- 效率：相同数据量训练时，节省19%训练时间与25%内存
- 扩展性：参数量超3.6亿后，MoR性能全面超越标准Transformer
对于企业部署，论文合著者Sangmin Bae指出：
- 低成本迁移：对现有开源模型进行”再训练”比从头训练更经济
- 灵活配置：可根据任务复杂度调整递归步数，例如简单任务适用更多递归步骤
- 多模态潜力：该框架可扩展至视频、音频处理领域
实施建议与未来展望
企业采用MoR时需注意：
- 通过超参数调节平衡性能与效率
- 初期建议采用小规模验证再逐步扩展
- 关注递归深度与KV缓存策略的协同优化
研究者特别强调，MoR为”实现大模型能力的同时显著降低计算与内存开销提供了有效路径”，其模块化设计尤其适合需要处理长上下文窗口的工业场景。随着多模态应用的普及，这项技术有望在更广泛的AI部署中释放价值。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/hun-he-di-gui-jia-gou-shi-xian-tui-li-su-du-fan-bei-ji-shu
