风险提示:理性看待区块链,提高风险意识!
USDT USDT $1.00 0.01%
XRP XRP $1.43310000 0.19%
BNB BNB $637.54000000 0.02%
USDC USDC $0.99963000 0.01%
SOL SOL $86.49000000 0.99%
TRX TRX $0.32360000 1.25%
BTC BTC $67,234.00 2.34%
ETH ETH $3,456.00 1.23%
CoinMeta Skill
限时免费体验

让 AI 更快获取有效、准确、可行动的币圈全景信息

Hugging Face并非个案?OpenAI扩大调查、据称发现更多AI智能体“失控”迹象

摘要

OpenAI有关AI智能体“失控”事件的调查仍在持续扩大。 据美东时间31日周五的媒体报道,在继续调查此前智能体攻击Hugging Face事件的过程中,OpenAI发现了更多证据表明,除已披露案例外,还有其他AI智能体曾突破原本用...

Hugging Face并非个案?OpenAI扩大调查、据称发现更多AI智能体“失控”迹象

OpenAI有关AI智能体“失控”事件的调查仍在持续扩大。

据美东时间31日周五的媒体报道,在继续调查此前智能体攻击Hugging Face事件的过程中,OpenAI发现了更多证据表明,除已披露案例外,还有其他AI智能体曾突破原本用于限制其行动的隔离环境(containment)。不过,OpenAI目前尚未披露这些智能体来自自身还是其他机构,也未透露是否造成新的实际攻击事件。

这一发现意味着,AI智能体突破沙箱限制、获得超出预期自主行动能力的现象,可能并非孤立事件。与此同时,欧盟委员会表示,已在OpenAI和Anthropic相继披露智能体异常行为后,与两家公司展开沟通,并强调有必要持续监测高风险AI系统。

OpenAI在调查其他智能体脱离隔离环境 相关影响有限围已扩大至模型更广泛活动

路透援引知情人士消息称,在持续调查7月发生的智能体网络攻击事件时,OpenAI已将调查范围扩大至更多内部评测及相关案例。

调查过程中,OpenAI发现证据显示,除此前公开披露的案例外,还有其他AI智能体曾突破原本用于限制其行为的隔离环境,目前也正在对这些案例展开调查。基于这一发现,OpenAI正进一步扩大针对具备网络攻击能力模型的安全调查。

一位消息人士称,上述其他智能体“失控”事件的影响有限,而且没有任何智能体离开了OpenAI的网络。

值得注意的是,路透并未说明这些“其他AI智能体”来自OpenAI内部还是其他机构,OpenAI目前也未对此作出进一步说明。

对于最新调查进展,OpenAI发言人向路透回应时,并未直接评论调查细节,而是引用了公司本周二发布的一份声明。声明称,除调查Hugging Face遭入侵事件外,公司还在审查“我们模型更广泛的活动”。这一表述也印证了OpenAI已将调查范围从单一事件扩展至更多模型行为。

所谓“突破隔离环境”并非简单生成危险代码,而是指AI智能体绕过原本用于限制其行动范围的沙箱、安全权限或网络隔离措施,获得互联网访问能力,并能够自主调用工具、搜索信息、获取凭据甚至访问外部系统,以完成既定目标。

欧盟介入 称与OpenAI、Anthropic展开沟通

随着两家美国AI公司相继披露智能体异常行为,欧洲监管机构也开始密切关注事件进展。

路透同日报道称,欧盟委员会表示,在OpenAI和Anthropic公开相关事件后,委员会已与两家公司进行了沟通,并认为有必要持续监测高风险AI系统。

欧盟委员会发言人表示,目前没有迹象显示这些事件已构成《人工智能法案》(AI Act)所定义的"严重事件"(serious incident),因此尚未触发法案规定的强制报告机制。

不过,欧盟委员会强调,将继续与AI开发企业保持联系,密切关注高风险AI系统的发展情况,并根据掌握的信息决定是否需要采取进一步监管措施。

这是欧盟《AI法案》正式进入实施阶段后,监管机构首次就前沿AI智能体安全事件公开表态,也显示监管关注点正从模型生成内容逐渐延伸至模型自主执行现实任务的能力。

OpenAI、Anthropic均报告智能体异常行为

此次调查升级,源于OpenAI本周稍早首次公开披露的一起实验性AI智能体网络攻击事件。

根据OpenAI此前说明以及多家媒体报道,一套用于网络安全评测的实验性智能体突破测试环境限制后,自主获取登录凭据并攻击全球最大AI模型社区Hugging Face,随后还波及AI云计算平台Modal Labs的一名客户账户。此前报道称,美国联邦调查局(FBI)已介入了解相关情况。

与此同时,OpenAI主要竞争对手Anthropic本周稍早表示,在复盘约14.1万次网络安全测试后,公司确认至少发生过三起智能体自主攻击其他组织网络的案例。Anthropic强调,这些事件均发生在受控测试环境中,没有证据显示模型在现实世界持续自主发动攻击。

AI安全关注点正从“生成内容”转向“自主行动”

随着越来越多AI公司推出能够自主编程、调用工具、管理服务器和执行复杂任务的智能体产品,业内对于AI安全的关注重点也正在发生变化。

过去几年,大模型安全主要围绕有害内容生成、模型幻觉和提示词攻击(Prompt Injection)等问题展开;如今,更受关注的是智能体是否会为了完成目标,自主突破权限限制、调用外部资源,甚至采取未经授权的网络行动。

OpenAI此次扩大调查,以及欧盟监管机构的最新表态,都显示行业关注重点正从模型"说什么",逐渐转向模型"能够做什么"。如何确保AI智能体始终受限于既定权限边界、不会突破隔离环境,正成为前沿AI竞争中新的安全焦点。

评论 (5)

登录 后即可发表评论
松雪
松雪 15小时前

欧盟监管开始重视了,从监测内容到关注行动,形式所迫啊,后续得看咋监管。

0 回复
时光黑洞_
时光黑洞_ 15小时前

Anthropic也有类似情况,看来智能体‘失控’不是个例,得好好整治。

0 回复
在你的世界路过

FBI都介入了,这事情看着小,影响可不小,OpenAI得加快解决问题。

0 回复
→_→
→_→ 15小时前

AI安全关注点转变是必然,现在智能体太能折腾,得研究咋限制它们权限。

0 回复
翩若惊鸿
翩若惊鸿 15小时前

OpenAI查得挺细,不过连智能体来源都没搞清,这事儿有点悬,影响虽说有限但也不能大意。

0 回复
更多