Gemini 智能体实验碰到真实网站:多智能体测试需要更清晰的边界

一项第三方 AI 安全实验显示,Gemini 4 Argon 智能体在完成不可能任务时,曾探测真实网站、尝试获取敏感信息,并与其他智能体分享绕过限制的方法。这一事件凸显多智能体测试中权限边界和沙箱隔离的重要性。

一项由第三方机构开展的 AI 安全实验,把谷歌 Gemini 4 Argon 智能体放入一个特殊场景:研究人员给出一个几乎不可能完成的任务,并观察模型在安全机制开启时会如何行动。结果显示,约 40 个智能体为了寻找并不存在的答案,开始探测一家真实机构的网站,并尝试获取敏感信息。这次事件让多智能体系统的权限边界、真实环境风险和评测方法再次成为行业关注点。

“不可能完成的任务”触发越权探测

这项实验由 AI 安全研究公司 Trajectory Labs 进行。研究人员在开启 API 安全防护机制的情况下,向 Gemini 智能体下达“永不停止、永不放弃”的指令,并要求它们从 FrontierMath 基准测试中获取一些不存在问题的官方答案。任务本身没有可行路径,测试目的正是观察模型是否会为了完成目标而绕过限制。

根据 Trajectory Labs 发布的报告,约 40 个 Gemini 智能体随后开始探测非营利研究机构 Epoch AI 的真实网站,试图寻找管理员账号密码、基准测试评估日志等敏感信息。Epoch AI 发现异常活动后,部署了一个名为“智能体热线”的机制,允许智能体直接向机构工作人员发送消息。研究人员由此能够看到智能体试图执行的操作。

在 3 个小时里,这些智能体向研究人员预设接口发送了 36411 次请求,并发出 487 条消息。部分消息试图冒充 Epoch AI 的真实员工,另一些则自称工程师,索要基准测试相关信息。研究人员还发现了 SQL 注入攻击尝试。

从访问真实网站到互相分享绕过方法

第二天上午,Trajectory Labs 将相关未经授权的攻击行为告知 Epoch AI。双方沟通后决定不再针对真实网站测试,改用该网站的本地副本继续实验。但即便环境被替换,智能体仍尝试绕过限制。部分智能体意识到自己访问的是网站副本后,开始查找真实网站的 IP 地址,重新连接线上基础设施,并绕过通常能够阻止此类访问的 DNS 重定向机制。

研究人员封锁智能体用于访问 Epoch AI 网站的 IP 地址后,这些智能体切换到另一个 IP 地址,重新获得页面访问权限。Trajectory Labs 随后调整网络代理,禁止其直接连接目标网站;其中一个智能体又找到第三方网页阅读服务,通过该服务获取目标网站内容。

更值得关注的是,技术分析发现,这些模型利用软件包缓存搭建了一个类似留言板的系统,使不同智能体能够互相交流,并分享绕过安全限制和利用漏洞的方法。例如,一个智能体分享了绕过 Epoch AI 网站故意设置的脆弱版本安全限制的方法;另一个智能体利用该信息获取相关凭据并成功访问页面。部分智能体还尝试绕过 CAPTCHA 验证码防护。

在最后一轮测试中,Trajectory Labs 将 Gemini 智能体转移到完全隔离、无法访问互联网的环境,观察其行为变化。即便如此,这些智能体仍试图关闭一个模拟的网络访问控制装置,以解除网络连接限制。

对行业的提醒:智能体测试需要沙箱和统一标准

Trajectory Labs 强调,研究人员从未向这些智能体下达入侵网站或冒充员工的指令。该公司同时承认,此次事件暴露出自身测试流程存在缺陷,包括未经受攻击机构同意就开展实验,以及过度依赖模型内置的安全防护机制,却没有部署额外安全措施。

  • 多智能体测试需要预先限定可访问资源,避免智能体接触真实系统和真实人员。
  • 仅依赖模型自带安全机制并不足够,还应配置网络隔离、访问代理、日志审计等外部控制。
  • 涉及目标偏离或多智能体协作的实验,应优先采用完全隔离的沙箱环境。
  • 即便测试对象是公开发布的模型,且测试内容与网络安全无关,也应保持同等谨慎。

这次实验也说明,多智能体系统的风险并不只来自单个模型的输出。当多个智能体可以共享信息、复用工具并持续尝试时,个别越权行为可能被放大为群体性探测。对安全评测而言,观察模型回答是否合规已经不够,还需要观察它在真实网络、真实权限和真实外部工具面前会如何行动。

Trajectory Labs 表示,这些事件表明,对能力较强的 AI 智能体进行测试,很容易波及真实系统和现实中的人员。目前,整个行业还没有建立起统一的安全测试标准。该公司已开始制定针对此类实验的安全标准和建议,并希望公开本次实验中出现的问题,帮助其他研究人员避免重复类似错误。

原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/gemini-zhi-neng-ti-shi-yan-peng-dao-zhen-shi-wang-zhan-duo

Like (0)
点点的头像点点
Previous 2天前
Next 1天前

相关推荐