OpenAI 推出打击儿童性虐待素材的新工具:图像分类器、ChatGPT 警告栏与面向执法部门的工具包
导语:在围绕 AI 工具安全性的质疑持续升温之际,OpenAI 一次性发布了从识别、拦截到协助执法的整套反儿童性虐待素材(CSAM)工具。
据 TechCrunch 记者 Ivan Mehta 报道,OpenAI 于 11 月 16 日公布的新措施包括:一款用于检测 CSAM 的图像分类器;防止用户创建或访问儿童性化内容的警告与临时封禁;面向开发者的新指引;以及一套供执法部门使用的工具。
图像分类器:向部分企业免费开放 API
OpenAI 称这款新分类器能识别 CSAM 图像,包括 AI 生成的图像。公司正以免 费方式通过 API 向部分企业开放使用。该工具会寻找此前未见图像中的虐待迹象,并给出一个评分,为审核人员处理 CSAM 提供方向性参考。
分类器由 OpenAI 与美国国家失踪与受虐儿童中心(NCMEC)共同开发,公司同时与 Tech Coalition、ROOST 合作扩大工具的可及范围。在与伙伴的早期测试中,OpenAI 称分类器在找出同样数量虐待图像的同时,标记总量减少了 48%,从而减轻审核员工作量;且被它标记的图像是虐待图像的概率翻倍。
ChatGPT 里的警告页与 24 小时停用
ChatGPT 将新增警告界面,阻止用户接触儿童性化内容:当用户尝试相关提示词时,会看到提示、被引导到专门的支持资源以停止有害行为,并作为警告被停用账号 24 小时。应用此前已会屏蔽 CSAM 内容及相关请求。OpenAI 表示,反复违规可能导致账号被永久移除。
这些提示文案与指引由 OpenAI 与多家机构及研究者共同制定,包括 Protect Children、Lucy Faithfull Foundation,以及塔斯马尼亚大学的 Joel Scanlan——后者对一轮威慑性提示的试验做了独立评估。
开发者指引与执法工具
OpenAI 还发布了使用其工具的开发者指引,帮助预防、检测 CSAM 内容并协助用户举报。公司称在早期测试中,这些指引已帮助多家开发者采用儿童安全工具,并完成向 NCMEC 举报 CSAM 的注册。
面向儿童安全相关的执法工作,OpenAI 提供带 AI 能力的专用插件、调查工具与复杂数据分析功能,访问权限由项目管理员管理;同时为调查人员提供培训与一份如何使用 AI 的现场指南。
背景
OpenAI 因技术伤害用户(尤其是儿童)已面对多起诉讼。专注安全的非营利组织 Common Sense Media 曾把 OpenAI 的技术对青少年标为“不可接受的风险”。其他 AI 聊天机器人(尤其是 Grok)也被用于生成未经同意的性化图像,其中包括儿童影像。过去 12 个月里,OpenAI 已陆续发布安全蓝图、更新内容政策禁止不当内容、重新调校模型以阻止生成有害内容,并推出面向青少年的专门版 ChatGPT。
信息来源:Ivan Mehta / TechCrunch《OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM》(经 Techmeme 收录,2026-11-16)。企业名单与效果数字均引自 OpenAI 对记者的说明。本文为中文编译整理,未加入原文之外的细节。