OpenAI被曝在Astra中试用“循环深度”推理,安全圈为何紧张?

The Information称,OpenAI新一代模型Astra正在使用一种名为“循环深度”的推理技术。由于该技术可能减少可读思维链记录,AI安全研究者开始担心,模型监控难度会随之上升。

据The Information报道,OpenAI即将推出的新模型Astra正在采用一种名为“recurrent depth”(循环深度)的推理技术。这一方法不同于当前主流推理模型常用的线性链式思考路径,而是允许模型以循环方式反复处理同一问题。由于它可能减少可供外部审查的思维链记录,AI安全研究者对该技术是否会削弱模型可监控性表达了担忧。

从“一步一步想”到“循环反复想”:推理路径变得不那么直白

目前大多数推理模型在处理复杂任务时,会形成一条相对线性的思维链:模型在尝试解决问题时,会留下可被观察者追踪的中间步骤。这些步骤虽然并不能完整还原模型内部全部计算过程,但通常被视为识别模型异常行为、判断其是否偏离目标的重要线索。OpenAI此前在处理智能体异常行为时,也曾借助思维链记录来分析模型为何做出某些举动。

而“recurrent depth”所代表的是一种更不线性的处理方式。按照报道描述,模型会在一个循环中多次处理同一查询,而不是沿着单一路径逐步推进。这种机制带来的结果是,模型留下的可读推理痕迹可能变少,从而在某种程度上绕开传统意义上的思维链记录。该技术也被称为“opaque recurrence”,即不透明循环。

  • 传统推理模型:更接近顺序推进,步骤相对可追踪
  • 循环深度技术:模型围绕同一问题反复处理,路径更隐蔽
  • 安全关注点:可解释性与可监控性可能被削弱

安全研究者担心:一旦扩大使用,思维链监控可能失效

尽管报道提到,Astra目前对该技术的使用范围似乎有限,模型思维链仍预计保持可读,且OpenAI否认了外界关于其将转向所谓“neuralese”(神经语言式不可读内部表达)的说法,但安全圈并没有因此放松警惕。

Redwood Research CEO Buck Shlegeris在报道发出后表示,自己对Astra使用不透明循环“非常担忧”。他写道,目前并不确定Astra是否比以往模型更难进行思维链监控,但如果OpenAI进一步推进这项技术,将有可能大幅增加循环程度,从而彻底破坏思维链可监控性。

长期关注AI安全议题的Zvi Mowshowitz则认为,这类技术可能破坏OpenAI和Anthropic等机构一直试图维护的一项原则:尽可能保持思维链的忠实性和可监控性。他表示,更密集地使用此类技术可能会损害监控能力,甚至可能需要通过法律手段来防止AI实验室之间出现“逐底竞争”。

Redwood Research首席科学家Ryan Greenblatt进一步指出,不透明推理可能比传统思维链推理更容易扩张。如果后续发展顺其自然,模型可能会将越来越多推理过程转移到潜在空间中,最终达到几乎完全不可见推理的状态。他表示,希望现在还不算太晚,OpenAI能够在此停下。

OpenAI回应:仍会坚持可读思维链与监控机制

面对外界关注,OpenAI首席科学家Jakub Pachocki在X上发文强调,公司自最早一批推理模型以来,就一直努力保留并利用思维链监控。他表示,这仍然是OpenAI当前研究计划的核心目标之一。

从公开信息看,OpenAI已宣布将在其前瞻性安全计划中加入大量思维链监控系统。这也意味着,至少在Astra现阶段,公司仍试图将模型输出保持在可审查范围内,而不是完全转向不可读的内部推理表达。

不过,多位研究者也指出,所有AI模型本身都存在一定程度的不透明推理,思维链日志也很少被研究者视为模型真实推理过程的直接映射。因此,真正令他们警惕的并不是“模型存在不可见计算”这一事实本身,而是不透明循环如果被更广泛采用,可能使原本就已有限的监控手段进一步失效。

不止OpenAI:行业可能都会面对同一道治理难题

The Information在后续报道中提到,Anthropic和Google DeepMind也已经在讨论类似技术。这说明“循环深度”并非只是OpenAI一家公司的工程选择,而可能成为下一阶段推理模型架构探索中的共同方向。

这也让问题从单一产品安全,转向更广泛的行业治理。若未来更多模型开始采用类似机制,那么现有依赖思维链审查、行为测试和日志分析的安全评估方法,都需要重新调整。监管机构、研究组织和企业自身,可能都要面对一个更现实的问题:当模型的推理过程越来越难被直接观察时,如何继续证明它是可控、可审计、可追责的。

原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/openai-bei-pu-zai-astra-zhong-shi-yong-xun-huan-shen-du-tui

Like (0)
点点的头像点点
Previous 3小时前
Next 1小时前

相关推荐