告别参数竞赛:新加坡Sapient Intelligence推出脑启发式AI模型HRM-Text

告别参数竞赛:新加坡Sapient Intelligence推出脑启发式AI模型HRM-Text

当全球AI行业仍在为打造更大参数规模的语言模型投入数十亿美元、扩建超大规模数据中心时,新加坡AI研究公司Sapient Intelligence却走出了一条截然不同的技术路径。近日,该公司正式发布HRM-Text——一款基于脑启发分层循环架构的10亿参数推理语言模型,试图以推理深度和计算效率打破“唯参数论”的行业惯性。

### 跳出Transformer框架的脑启发设计
当前主流大语言模型几乎都依赖Transformer架构,通过前馈系统聚焦于下一个预测词的生成。而Sapient的HRM框架则创新性地引入了分层循环结构,让多个推理层在生成输出前先完成内部交互。

这一架构模拟了人类大脑的信息处理模式,分为两个相互关联的系统:负责抽象规划与深度推理的“慢速控制器”,以及处理具体计算任务的“快速工作单元”。不同于当前AI广泛采用的思维链方法——通过冗长的可见文本序列展示推理过程,HRM-Text的大部分推理过程在潜在空间内部完成,最终直接输出结果。

Sapient表示,这种结构让小体量模型也能实现复杂的多步骤推理,无需依赖庞大的参数规模或高昂的推理成本。根据该公司公布的基准测试结果,HRM-Text在MATH数据集上达到56.2%的准确率,ARC-Challenge为81.9%,DROP为82.2%,MMLU为60.7%,在10亿参数级别的模型中表现亮眼。

### 效率成为AI竞争新战场
HRM-Text的发布恰逢AI行业对基础设施成本、能耗和算力可用性的担忧日益加剧之时。训练和部署最先进的AI系统往往需要大规模GPU集群、超大型数据中心,其能耗水平正受到政府和基础设施提供商的密切关注。

Sapient认为,未来AI的突破可能不再源于模型规模的扩张,而是来自对架构的根本性重构。据介绍,HRM-Text仅需2台机器共16块GPU,耗时约1天即可完成训练,成本仅约1000美元。相比之下,前沿大语言模型的训练预算往往高达数亿美元。

该模型的部署优势同样显著:在int4量化下,HRM-Text仅占用约0.6GiB内存,理论上可在智能手机和边缘设备上实现本地部署。随着企业对端侧AI、隐私敏感型推理和离线推理系统的需求增长,这种轻量化、易部署的模型将拥有广阔的应用前景。

### 脑启发AI的探索浪潮
Sapient的研究并非孤例,当前AI领域正掀起一股探索Transformer替代方案的浪潮。HRM架构大量借鉴了神经科学中的分层处理、时间分离和循环计算等概念。Sapient在官网表示,其长期目标是通过具备推理、规划和自适应学习能力的架构实现通用人工智能,而非主要依赖统计记忆。

值得注意的是,Sapient的研究团队汇聚了来自DeepMind、DeepSeek、xAI等顶尖机构的前研究员,以及麻省理工学院、卡内基梅隆大学、清华大学、剑桥大学等知名高校的科研人员。此前,该公司的分层推理模型早期版本就因以远小于传统大语言模型的参数规模实现出色推理性能,在AI研究圈引发关注。

### AI发展的衡量标准或将重构
尽管HRM这类架构能否最终与最大规模的前沿模型抗衡仍未可知——AI行业曾多次出现有前景的替代方案被规模经济碾压的情况,但Sapient的发布恰逢行业开始反思暴力扩张局限性的关键节点。GPU短缺、能耗瓶颈、推理成本高企以及数据集规模扩大带来的边际效益递减,正迫使研究者重新审视过去几年主导AI发展的固有假设。

如果HRM-Text这类系统持续改进,将可能重塑AI发展的衡量标准——从单纯关注参数数量,转向重视效率、推理深度和适应性。目前,Sapient已通过GitHub完全开源了HRM-Text,为全球AI研究者提供了探索高效推理模型的新工具。

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/gao-bie-can-shu-jing-sai-xin-jia-po-sapient-intelligence

Like (0)
王 浩然的头像王 浩然作者
Previous 1天前
Next 20小时前

相关推荐

发表回复

Please Login to Comment