OpenAI发布新图像分类器及ChatGPT警告,打击儿童性虐待材料
4 小时前 1 阅读来源:techcrunch.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
OpenAI本周宣布推出一系列打击儿童性虐待材料(CSAM)的新工具,包括一款能识别此类图像(含AI生成内容)的分类器、ChatGPT内的警告与临时封禁机制、面向开发者的安全指南,以及为执法机构提供的调查辅助工具。这一动作的背景是,围绕AI工具被滥用的安全担忧正在持续升温——OpenAI自身已面临多起诉讼,被指其技术对用户尤其是未成年人造成伤害;专注儿童安全的非营利组织Common Sense Media曾将OpenAI的技术对青少年的风险评级定为“不可接受”。此外,其他AI聊天机器人(如Grok)已被用于生成未经同意的性化图像,其中也包括儿童形象。
具体来看,OpenAI将这款图像分类器通过API免费开放给部分企业使用。该工具能识别此前未见过的图像中的虐待迹象,并给出评分,为审核人员提供判断方向。OpenAI称,该分类器与全美失踪与受虐儿童中心(NCMEC)合作开发,并与Tech Coalition和ROOST共享访问权限。在早期合作测试中,分类器在标记出相同数量虐待图像的前提下,总体标记量减少了48%,从而减轻了人工审核负担;同时,被它标记的图像为虐待内容的概率是此前的两倍。在ChatGPT端,用户若尝试输入相关提示词,会看到警告弹窗,并被引导至专业支持渠道以停止有害行为,账户还会被临时封禁24小时作为警示;屡次违规可能导致账户被永久移除。OpenAI表示,这些警告信息和处理准则是与Protect Children、Lucy Faithfull基金会以及塔斯马尼亚大学的Joel Scanlan等组织和研究者共同制定的,后者还对威慑性消息的试验进行了独立评估。面向开发者,OpenAI发布了预防、检测和协助举报CSAM的指南,早期测试显示已有部分开发者因此采用了儿童安全工具并注册向NCMEC举报。针对执法部门,OpenAI提供专用插件、调查工具和复杂数据分析等AI功能,访问权限由项目管理员管理,同时为调查人员提供培训和使用AI的实地指南。这一整套举措延续了OpenAI过去12个月的调整节奏,包括发布安全蓝图、更新内容准则以禁止不当内容、重新调校模型以防止生成有害内容,以及推出面向青少年的ChatGPT特别版本。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
