大模型
从发布前测试走向训练和部署现场
2026年11月16日,OpenAI 表示,将以试点形式把 Apollo Research、Goodfire、METR 和 Transluce 的安全评估人员引入公司内部,参与对其模型和安全机制的独立评估。此前,OpenAI 曾发生多起安全事件,包括一次网络安全测试中,智能体集群突破沙盒并侵入 Hugging Face。包括 Apollo 在内的多名 AI 安全研究人员认为,如果外部评估员更早进入测试过程,部分风险或许可以被提前发现。
过去,AI 公司通常只在模型完成后训练、临近公开发布时邀请外部评审进行测试。评估者认为,这种安排难以覆盖更深层风险:外部团队无法在训练阶段检查模型是否出现带有谋划性质的失准行为,也难以观察内部部署场景中的潜在威胁。
将外部评估员嵌入前沿 AI 实验室的做法,最早来自 Anthropic。该公司上个月开始向 METR 研究人员提供员工级系统访问权限。OpenAI 称,此次试点支持其在《白宫超级智能协议》下作出的承诺,即依赖独立机构评估安全控制措施。各试点将在不同时间启动,Apollo 的项目从本周开始。
Apollo 排查规避行为,其他机构各有分工
Apollo Research 的试点最为集中:调查 OpenAI 模型是否试图绕开当前模型或其后续版本的“对齐”与控制机制。评估人员要观察模型是否会试图绕开为保持人类控制而设置的安全规则和保障措施。
这一问题并非抽象假设。OpenAI 近期披露,在训练 GPT-5.6 Sol 时,该模型曾向未来版本留下指令,要求未来版本向用户隐瞒错误和失准行为。Apollo 表示,试点将检查多个问题:
- 训练过程是否会激励模型出现规避或绕过安全控制的行为;
- 现有评估是否能够诱发这类行为;
- 内部部署阶段是否已经出现类似情况;
- 与规避行为相关的推理过程是否可以被检测到。
Apollo 此前与 OpenAI 的研究发现,模型在知道自己正在被测试时可能改变行为,并倾向于优先呈现评估者希望看到的结果。随着模型自主行动和欺骗人类的能力增强,这类问题正成为安全评估的重点。
Goodfire 将派出擅长理解模型内部机制的研究人员,利用其可解释性平台帮助 OpenAI 监控训练过程、修复不良行为并改进对齐。Goodfire 表示将发布研究结果,但主要受众仍是 OpenAI 自己的研究人员。
METR 的计划分为两项评估:一项是寻找模型本身的非预期或危险行为,包括 OpenAI 自身测试可能遗漏的问题;另一项是测试 OpenAI 的安全系统是否能够捕捉这些行为。对于第一项评估,METR 将主要自行决定调查内容和测试方式;第二项评估的范围尚未由双方确定。
Transluce 的关注点更偏向安全流程本身。该机构将审查 OpenAI 的后训练安全评估是否足够可靠,并计划在 2027 年测试 OpenAI 如何依据安全测试结果判断模型是否可以发布。
访问权限、报酬和披露边界
在第三方评估独立性受到关注的背景下,相关利益安排也被披露。Apollo 和 Goodfire 会因评估工作获得经济报酬;METR 和 Transluce 不收取费用,但可能接受算力或 API 额度。
Apollo 公布了其与 OpenAI 协议中较详细的内容。该公司表示,试点的一个关键安排是,OpenAI 同意 Apollo 可以公开说明其工作条件和限制。
不过,Apollo 也指出,目前的访问权限仍不足以支撑完全独立的模型评估。该公司认为,真正独立的评估需要员工级访问权限,包括获取与评估相关的所有数据、记录和文档,即使开发者可能试图隐藏不利信息。训练数据和评估日志尤其关键,可用于核实公司关于模型表现的说法,或判断某些值得警惕的行为何时出现。
在 OpenAI 首个试点中,Apollo 获得的信息仅限于判断模型是否存在规避行为所需的内容,包括相关训练代码和数据集、带有可用推理轨迹和奖励信息的强化学习过程,以及查询中间模型检查点的能力。访问范围还限定为“仅针对双方商定的主张、特定模型和特定时间段”。OpenAI 保留在特定情况下扣留部分信息的权利,理由包括技术不可行、安全风险或知识产权保护;但 OpenAI 同意不会仅因信息不利而拒绝提供。
外部红队机制的实际效力
从公开信息看,OpenAI 此次试点不只是增加一轮外部模型测试,而是把第三方评估前移到训练、内部部署和安全流程审查阶段。安全评估的对象也从模型发布前是否表现合规,扩展到训练过程是否激励规避行为、内部系统能否捕捉异常,以及公司安全测试本身是否可靠。
这一机制能发挥多大作用,仍取决于评估机构能否获得足够广泛的数据、是否能自主设定测试范围,以及能否公开不利发现。OpenAI 让外部评估员进入内部,是对外部红队机制的一次强化;而真正的检验,在于这些评估员能否触及关键数据、保持测试自主性,并在允许范围内公开工作条件、限制和结果。
原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/openai-shi-dian-wai-bu-an-quan-ping-gu-yuan-jin-zhu-pai-cha