作为 Transformer 架构的联合缔造者之一 —— 曾参与撰写 2017 年里程碑式论文《Attention Is All You Need》、并为该架构命名的 Llion Jones，于 2025 年 10 月 23 日在旧金山 TED AI 大会上发表了极具颠覆性的观点：当前 AI 研究正因过度依赖 Transformer 架构而陷入 “危险的狭隘”，他本人已决定大幅减少在 Transformer 上的投入，转而探索能推动 AI 领域实现下一次重大突破的新技术。如今身为东京 Sakana AI 联合创始人兼首席技术官的 Jones，以 “架构深耕者” 的独特视角，揭露了 AI 行业在资本与竞争压力下的创新困境，引发全球科技界对 AI 研究方向的重新审视。
Jones 指出，当前 AI 领域正面临一个矛盾现实：尽管投入的资源、资金与人才规模空前，研究范围却反而愈发狭窄。他描述了当下研究环境的压抑现状 —— 科研人员时刻担心自己的想法被竞争对手 “抢先发表”，学术圈为追求稳妥的发表成果，更倾向于选择风险低、易落地的项目，而非可能带来颠覆性突破的 “高风险探索”。“现在做标准 AI 研究，你得默认至少有三四个团队在做相似甚至完全相同的事。”Jones 坦言，这种压力迫使研究者仓促发表论文，严重削弱了创新的可能性，“就像算法面临‘探索与利用’的权衡 —— 当行业过度‘利用’现有架构的价值，就会陷入‘局部最优解’，错过更优的全新方向，而我们现在正处于这样的困境中。”
为了印证这一观点，Jones 回顾了 Transformer 诞生前的 AI 研究格局：在 Transformer 出现前，研究者们长期围绕循环神经网络（RNN）进行微小优化，即便收效甚微也不愿跳出固有框架，直到 Transformer 架构出现，此前大量的 RNN 优化工作瞬间失去意义。“如果当时的研究者知道 Transformer 即将出现，他们还会花那么多时间改进 RNN 吗？”Jones 的反问直指当下 —— 他担忧行业正重蹈覆辙，所有人都聚焦于 Transformer 架构的细节调整（如参数规模扩大、训练数据增量），却忽视了可能存在的、能彻底改变 AI 格局的全新架构。
值得关注的是，Jones 特别对比了 Transformer 诞生时的研发环境与当下的差异，强调 “自由探索” 才是突破的关键。他回忆，2017 年 Transformer 的研发过程 “完全是自下而上的有机过程”：团队成员在午餐时交流想法、在办公室白板上随手涂鸦构思，既没有明确的目标，也没有管理层施加的压力 ——“没人要求我们必须做某个项目，也没人用论文数量或指标来考核我们”。正是这种无压力的自由环境，让团队得以跳出当时主流的 RNN 框架，大胆尝试自注意力机制。而如今，即便有些研究者能获得 “年薪百万美元” 的高薪，却仍受限于 “证明自身价值” 的压力，被迫选择 “低垂的果实”（如优化 Transformer 的细节），而非敢于试错的 “狂野想法”。Jones 犀利质疑：“当这些人才进入新岗位，他们真的有勇气去探索投机性的创新，还是会迫于压力追求短期成果？”
作为对当前困境的回应，Jones 在 Sakana AI 发起了一场 “反主流” 的研究实验：重建类似 Transformer 诞生时的自由探索环境，以 “自然启发” 为研究方向，弱化对论文发表和直接竞争的追求。他为团队提出了工程师 Brian Cheung 的一句理念作为准则：“只做那些‘如果没有你，就不会有人做’的研究”。其中一个典型案例是 “Sakana 连续思维机器”（Continuous Thought Machine）—— 该项目将类脑同步机制融入神经网络，最初由一名员工提出时，在其他公司或学术机构很可能因 “不切实际” 被否决，但 Jones 却给了团队一周时间探索，最终该项目不仅取得突破，还成功在顶级 AI 会议 NeurIPS 上展示。Jones 认为，这种 “以自由吸引人才” 的模式远比高薪更有效：“有才华、有野心的人，自然会被能实现创新的环境吸引。”
尽管明确表达对 Transformer 的 “厌倦”，Jones 也强调自己并非否定当前基于 Transformer 的研究价值 ——“未来几年，围绕现有技术仍有很多重要工作可做，能创造巨大价值”。他真正反对的，是 “将所有资源与人才绑定在单一架构上” 的短视行为。在他看来，Transformer 的巨大成功反而成为了 “创新的阻碍”：“正因为当前技术足够强大灵活，大家才失去了寻找更好方案的动力；如果现有技术没这么好用，反而会有更多人主动探索新方向。”
Jones 的警示背后，是 AI 行业正面临的 “增长瓶颈”：越来越多研究表明，单纯扩大 Transformer 模型的规模（如增加参数、扩充训练数据）所带来的性能提升已逐渐递减，行业急需通过架构创新而非 “堆资源” 来实现突破。但现实是，每年数百亿美元涌入 AI 领域，激烈的商业竞争迫使企业追求 “短期可见的成果”，导致 “探索性研究” 因回报不确定而被边缘化。作为 Transformer 架构的缔造者之一，Jones 的 “转身” 具有特殊分量 —— 他的选择并非出于对自身成果的否定，而是基于对 AI 行业长期发展的担忧，“我比几乎所有人都更早、更久地研究 Transformer，所以我更清楚，是时候向前看了。”
Jones 在演讲结尾发出呼吁：AI 行业的终极目标是推动技术进步、让全人类受益，而非在单一赛道上争夺 “短期胜利”。“这不是一场竞争，我们所有人的目标是一致的。” 他希望全球研究者能共同 “调高探索的刻度”，并坦诚分享探索成果，“只有这样，我们才能更快找到下一个‘Transformer 级’的突破”。如今，Jones 的观点已引发连锁反应：谷歌、OpenAI 等头部企业开始重新评估内部研究方向，部分高校也启动了 “非 Transformer 架构” 的专项研究基金。而 Sakana AI 正以 “自然启发式 AI” 为核心，探索如 “多智能体协同”“类脑神经网络” 等全新方向，试图为行业提供 “跳出 Transformer 框架” 的实践样本。
这场由架构缔造者发起的 “自我革命”，不仅暴露了 AI 行业的创新痛点，更为全球 AI 研究敲响警钟：当一个架构从 “创新工具” 变成 “思维枷锁”，唯有敢于打破惯性、拥抱不确定性，才能推动 AI 技术真正走向下一个时代。正如 Jones 所言：“下一个重大突破可能就在眼前，它需要的不是更多 Transformer 的优化，而是敢于放弃 Transformer 的勇气。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/sakana-ai-shou-xi-ji-shu-guan-zhi-yan-yan-juan-transformer
