2026年11月16日,OpenAI宣布推出一组针对儿童性虐待材料(CSAM)的新治理工具,包括可检测CSAM图像的新图像分类器、ChatGPT内的警告与临时封禁机制、面向开发者的儿童安全指南,以及一组面向执法部门的辅助工具。
与单纯强调模型拒绝生成违规内容相比,这次动作更偏向把安全能力拆解成可交付的工具:图像分类器负责识别风险内容,ChatGPT的警告和账号处置负责阻断用户行为,开发者指南和执法工具则把能力延伸到下游应用和调查环节。
图像分类器:识别AI生成图像,并为人工审核排序
新发布的图像分类器可以检测CSAM图像,并覆盖AI生成的相关图像。OpenAI表示,该工具与美国国家失踪与被剥削儿童中心(NCMEC)合作开发。公司正通过API向部分企业免费提供访问权限,并与Tech Coalition、ROOST合作,扩大工具共享范围。
该分类器会寻找图像中可能体现虐待的视觉迹象,并输出评分。评分不是最终定性,而是为审核人员提供方向,帮助判断哪些图像需要优先复核、上报或拦截。
OpenAI披露了早期合作测试中的两项结果:
- 在发现相同数量虐待图像的情况下,该分类器标记的图像数量减少了48%。
- 被该分类器标记的图像,属于虐待图像的可能性是两倍。
这组数据的重点不在于扩大标记数量,而在于减少无效标记、提高审核效率。分类器若能降低误报,审核团队可以集中处理更高风险的样本。
ChatGPT处置:警告、引导支持、暂停24小时
OpenAI正在为ChatGPT增加新的警告屏幕。当用户尝试输入可能指向儿童性化内容的提示时,系统会显示警示信息,阻止相关操作,并引导用户获取专门支持,以停止有害行为。
同时,相关账号会被暂停24小时,作为一种警告。OpenAI表示,ChatGPT已经会屏蔽CSAM内容及相关请求;如果用户多次违规,账号可能被永久删除。
这套机制采用分层处理:首次触发时,不只是简单拒绝,而是把阻断、警示、行为干预和临时封禁放在同一条链路中;对重复违规者,则升级到永久封禁。
OpenAI称,相关提示信息和行为指南是在外部组织与研究人员参与下制定的,包括Protect Children、Lucy Faithfull Foundation,以及塔斯马尼亚大学的Joel Scanlan。后者独立评估了一项威慑信息试验。
开发者指南与执法工具:安全能力向生态延伸
除ChatGPT本身外,OpenAI还发布了面向开发者的指南,帮助使用OpenAI工具的团队预防、检测CSAM内容,并协助用户举报。OpenAI表示,在早期测试中,该指南已经帮助一些开发者采用儿童安全工具,并注册向NCMEC报告CSAM。
OpenAI还提到,将为处理儿童安全问题的执法部门提供AI辅助功能,包括专用插件、调查工具和复杂数据分析能力。相关访问权限由项目管理员管理。公司还会为调查人员提供培训,并提供一份关于如何使用AI的现场指南。
这意味着OpenAI正在把安全治理从单一产品内部,扩展到开发者、审核机构和执法部门的协作网络。图像分类器负责识别,ChatGPT警告负责阻断,开发者指南负责生态接入,执法工具则支持后续调查。
行业意义:儿童保护开始成为模型服务的基础能力
这轮发布有其现实背景。OpenAI曾面临多起诉讼,被指其技术对用户造成伤害,尤其是儿童。安全领域非营利组织Common Sense Media也曾将OpenAI的技术称为对青少年而言“不可接受的风险”。其他AI聊天机器人,特别是Grok,也曾被用于制作非自愿性化图像,其中涉及儿童。
过去12个月,OpenAI已经进行过多项调整,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调优模型以防止生成有害内容,以及推出面向青少年的ChatGPT特别版本。此次新增图像分类器和ChatGPT警告,是这些调整的延续,但更强调工具化和外部协作。
对大模型服务商而言,安全能力正在从模型训练阶段的约束,变成可以开放给第三方、可以嵌入产品流程、可以配合调查的组件。工具化并不能自动消除风险,分类器的评分仍需要人工审核判断,警告和封禁机制也需要明确执行边界。但从素材呈现的方向看,OpenAI这次并非只增加一个过滤功能,而是试图把儿童保护做成一套可接入、可评估、可协作的服务能力。
原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/openai-jiang-er-tong-an-quan-neng-li-chan-pin-hua-xin-csam