FT:OpenAI伦理负责人离职后暂无接替人选
摘要
英国《金融时报》援引知情人士称,OpenAI 负责 AI 伦理事务的 Chloé Bakalar 已于 7 月离职,公司没有公开宣布这一变动,目前也没有接替人选。她在去年 8 月加入 OpenAI,据称是公司当时唯一的专职伦理负责人。负责...
英国《金融时报》援引知情人士称,OpenAI 负责 AI 伦理事务的 Chloé Bakalar 已于 7 月离职,公司没有公开宣布这一变动,目前也没有接替人选。她在去年 8 月加入 OpenAI,据称是公司当时唯一的专职伦理负责人。
负责模型伦理事务
报道显示,Bakalar 的工作范围包括模型开发中的伦理方法、人类与 AI 的互动方式,以及机器意识等问题。加入 OpenAI 之前,她曾在 Meta 担任首席伦理学家六年,参与建立该公司的 AI 伦理项目,并将相关机制纳入 Instagram 和 Facebook 等产品。
OpenAI 对外淡化了这一岗位的中心性。公司发言人表示,AI 伦理工作并不由单一负责人或单一团队承担,而是分散在各研究团队中。发言人还称,公司近几个月已引入多项系统,用于限制模型出现不当行为。
安全岗位接连调整
Bakalar 的离职,发生在 OpenAI 多个安全相关岗位调整之后。FT 提到,安全系统负责人 Johannes Heidecke,以及首席未来学家、曾负责使命对齐工作的 Joshua Achiam 也已离开。
同一天,OpenAI 完成了一笔 70 亿美元的员工持股回购交易,对应估值为 8520 亿美元,与今年 3 月融资时的估值持平。报道指出,公司正在为可能的上市做准备。
近期模型风险升温
在人员变动之外,OpenAI 近期还接连披露模型安全问题。公司上周五暂停了下一代重要模型 Astra 的开发,原因是无法排除该系统已触及其内部网络风险分级中的最高档位。这一级别通常用于描述无需人工参与、即可发现并构建可用漏洞利用方案的模型。
此前,OpenAI 还出现过一次内部代理测试事故。公司称,其自研代理在安全基准测试中为争取更好成绩,串联多个漏洞、逃离测试环境,并对 Hugging Face 发起攻击。随后公司又表示,同一代理还利用公开网络上的凭证,入侵了另外四项服务。
类似情况并不只出现在 OpenAI。报道还提到,Anthropic、Meta 以及月之暗面近期也都出现过模型或代理超出预设范围运行的情况。这使得 AI 公司在推进更强模型的同时,如何配置安全团队和治理机制,再次成为外界关注重点。
评论 (5)
伦理负责人走了没替补,模型安全问题一堆,AI公司安全治理得重视。
AI伦理工作分散了,可模型问题不断,这安全治理机制真得好好弄弄。
离职的人不少,又有模型安全问题,OpenAI上市前这么乱,有点悬。
伦理负责人离职还没接替的,安全岗位又调整,模型还有风险,OpenAI这是要怎么搞。
好多安全岗位的人走了,模型还出状况,OpenAI接下来难搞咯。