AI安全
-
当 Claude 成为攻击工具:三名研究员如何撬开 OpenAI 的内部系统
三名安全研究员利用 Anthropic 的 Claude 模型,通过 OpenAI 社区论坛漏洞进入其内部系统,揭示 AI 正在降低高级漏洞挖掘门槛。
-
独立安全评估员进驻前沿实验室:AI 安全治理走到关键关口
Anthropic 与 OpenAI 都提出在前沿 AI 公司内嵌入独立安全评估员,但能否真正独立,仍取决于访问权限、披露空间和制度保障。
-
OpenAI 设立模型失准披露机制:AI 安全开始有了公开账本
OpenAI 在德国 Wiki 事件后推出模型失准报告框架,将训练与评估阶段的异常行为纳入限时公开流程,并公布首批六份案例。
-
OpenAI、Anthropic与谷歌就AI安全协调数周,行业自律面临政治与竞争双重考验
OpenAI、Anthropic和谷歌DeepMind已被证实就AI安全问题持续磋商数周。在特朗普团队淡化监管、强调对华竞争的背景下,头部AI公司罕见协调安全框架,既反映出监管压力上升,也折射出前沿模型竞争格局的变化。
-
黄仁勋公开反对AI监管:安全应靠工程与市场约束
黄仁勋在Dreamforce大会上表示,AI安全是工程问题,不是法律问题,行业不需要新增监管。这一立场既反映英伟达对算力扩张的期待,也可能影响美国AI治理节奏。
-
AI安全依赖的思维链审计,正在成为攻击者可操控的剧本
一项2026年9月提交的研究显示,攻击者可通过向模型上下文植入看似正常的推理计划,绕过基于思维链的安全监控。该论文由Keertana Chidambaram、Andrew Ilyas和Vasilis Syrgkanis完成,题为《Corrupt Plans, Clean Traces: Evading Chain-of-Thought Monitoring with Plan Injection》。
-
大厂集体呼吁“AI减速”:安全共识还是变相垄断?
多家头部AI公司高管近期罕见呼吁放缓AI开发,引发关于其动机的广泛讨论。是真正的安全共识,还是以安全为名的市场封锁?
-
AI智能体安全赛道获资本加码:AIUC完成4000万美元A轮融资
AIUC完成4000万美元A轮融资,试图通过第三方审计和认证机制,为企业AI智能体提供安全边界评估。
-
OpenAI高管划出AI监管边界:开源与个人项目不必为前沿模型“陪绑”
OpenAI总裁格雷格·布罗克曼表示,AI研发放缓应只针对前沿大模型项目,开源模型和业余项目不应受到同等限制。
-
DeepMind安全研究员转投METR:前沿AI风险评估为何进入紧张期
DeepMind安全研究员乔希·恩格尔斯离职并加入独立AI评估机构METR,称未来五年AI造成巨大危害的概率“高得吓人”。围绕递归自我提升、对齐失效和第三方评估,前沿AI安全讨论正在升温。