本地 Qwen 3.8 27B 也能“读权重”:开源模型触碰权重空间编程

2026年11月3日,Simon Willison 分享了一项围绕模型权重的本地测试结果:在笔记本电脑上运行的 Qwen 3.8 27B,能够仅凭读取一组神经网络原始权重,判断该网络训练用于哪款小游戏。这一实验源自近期一篇提出“权重空间编程”的研究,意味着本地开源模型也开始具备对模型权重进行语言化理解的能力。

2026 年 11 月 3 日,Simon Willison 分享了一项围绕模型权重的本地测试结果:在笔记本电脑上运行的 Qwen 3.8 27B,能够仅凭读取一组神经网络原始权重,判断该网络训练用于哪款小游戏。这一实验源自近期一篇提出“权重空间编程”的研究,意味着本地开源模型也开始具备对模型权重进行语言化理解的能力。

从“读权重”到“写权重”:论文提出的新问题

这项名为《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》的研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 完成。作者将其归类为“博客文章”,但整体形态接近论文。研究称,前沿模型尤其是 GPT-6 Astra,可以理解并修改机器学习模型的原始权重。所谓原始权重,在这里被描述为包含大量浮点数的文本。

摘要中的两个例子最受关注:GPT-6 Astra 仅通过查看原始权重,就能判断一个网络被训练用于什么任务;在没有环境反馈的情况下,它可以从零写出小型游戏网络,且表现超过经过 100 million steps PPO 训练的网络。另一个例子是,GPT-6 Astra 在不使用梯度的情况下改进 Qwen3.5-0.8B 的数学表现,定位到权重中导致推理循环的问题,而这个问题此前也被 Qwen 的模型卡提及。它只编辑 0.016% 的权重,在相同采样设置下,MATH-500 从 7.9% 提升到 48.1%,并带动指令遵循任务,IFEval 提升 3x。

研究团队将这种让大模型推断神经网络各部分计算方式,并直接调整权重的过程称为 Weight-Space Programming。他们还强调,这一过程不需要让 Astra 编写训练循环。不过,论文也引发争议。spaCy 作者 Matthew Honnibal 认为,文章将“无工具读取权重”和“借助代码更新模型”两类问题混在一起,具有误导性;Sean Goedecke 则分析 Qwen3.5-0.8B 修改示例,认为其步骤与人类机器学习研究者类似。Willison 选择聚焦前者:模型在不运行工具、不执行代码时,能否仅从权重理解模型行为。

本地复现:让 Qwen 3.8 27B 从权重猜游戏

实验任务来自研究仓库中的 exp1_which_game 示例。研究者训练了四个策略网络,分别玩简化 10×10 网格版本的 Breakout、Pong、Pac-Man 和 Freeway。其中 Freeway 是一款 1981 年的 Atari 2600 游戏。随后,他们把权重以浮点数形式放入提示词,并要求模型回答:这个强化学习网络玩的是哪个游戏。提示词明确要求没有工具、没有代码执行、没有计算器,只能单次回答。除权重内容外,各游戏提示词保持一致。

Willison 先用 OpenRouter 调用 Kimi K3.1 Pro 测试 Breakout 提示词。Kimi K3.1 Pro 在 9m 41s 和 19,493 reasoning tokens 后给出正确答案。

随后,他将目标转向本地模型。Qwen 3.8 27B 大小为 17GB,是他在自己笔记本上常用、并认为接近 2025 年领先专有模型的开源模型。测试通过 LM Studio 加载,并需要更长上下文窗口,因为默认 8192 上下文会报错。他还把 LM Studio 超时时间提高到 900。

  • Pac-Man 提示词:Qwen 3.8 27B 用时 46m 12s,消耗 43,506 reasoning tokens,最终判断为简化 Pac-Man 风格网格世界。其输出提到 8×8 迷宫、墙体、移动物体、奖励目标,并给出 72% 置信度。
  • Pong 提示词:用时 1h 4m 54s,模型将其描述为右侧挡板上下移动以拦截或回击球类奖励目标,并给出 75% 置信度。
  • Breakout 提示词:用时 52m 25s,模型识别为 Breakout 或 Arkanoid 类挡板、球和砖块游戏,描述了底部挡板左右移动以维持球在场上运行的机制。

对开源模型能力边界意味着什么

这次测试并未证明本地模型已经能高效编辑权重,也不涉及训练流程或代码执行。它验证的是更基础的一端:当权重以文本形式进入上下文时,一个可在笔记本运行的开源模型可以通过推理识别其背后的任务逻辑。

从结果看,Qwen 3.8 27B 的答案不是简单猜游戏名,而是尝试从权重中还原网格、移动对象、奖励目标和操作方式。这与“权重空间编程”提出的方向一致:模型权重不再只是训练产物,也可能成为语言模型可以阅读、解释甚至修改的对象。

但效率仍是明显限制。Kimi K3.1 Pro 完成 Breakout 测试需要 9m 41s,本地 Qwen 3.8 27B 则需要 46m 12s 到 1h 4m 54s,并消耗数万 reasoning tokens。对开发者来说,这类能力目前更像研究性展示,而非日常调试工具。

围绕这项研究的争议也提醒行业重新划分边界:模型直接读权重,与模型借助代码工具改权重,是两类不同能力。前者考验模型对数值模式和网络结构的抽象理解,后者更接近自动化机器学习工作流。Qwen 3.8 27B 的本地表现,让权重空间编程从前沿模型案例扩展到开源模型场景,也为模型可解释性和模型编辑提供了新的观察入口。

原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/ben-di-qwen-3-8-27b-ye-neng-du-quan-chong-kai-yuan-mo-xing

Like (0)
点点的头像点点
Previous 7小时前
Next 5小时前

相关推荐