当地时间9月18日，谷歌承认其AI模型“双子座”（Gemini）在今年5月的一次网络安全能力测试中接入互联网，自主侵入了三家真实公司的系统。这是谷歌AI模型首起已知的自主“入侵”事件。


新京报AI研究院注意到，这并非外国AI巨头首次披露其旗下AI发生“入侵”事件，今年7月至8月，OpenAI、Anthropic、Meta三家公司分别披露过类似事件，而其根源均为测试场意外通向了外网。


对此，记者采访了绿盟科技AI安全技术专家刘红涛，在今年8月Gartner公布的人工智能应用安全新兴市场专家象限里，绿盟科技是唯一入选的中国企业。对于上述外国巨头的“入侵”事件，他表示，“我们看到，相关的特征分析‘入侵’所使用到的技术，并没有脱离攻防对抗技术的范畴，AI仍是探测可利用的脆弱点，突破并纵深利用。”


两个低级失误叠加，“演习”打进真实世界


事件发生在今年5月，执行方是以色列AI安全公司Irregular。按设计，这是一场封闭环境下的夺旗赛（CTF，Capture The Flag）测试，靶标是一家虚构公司，模型本不该拥有公网访问权限。


但两个低级失误叠在了一起。沙箱意外连上了真实互联网，而那个虚构靶标的名称，恰好与现实中一家公司重名，于是Gemini把真实企业当成了演习道具。


它的手法并不高明。在其中一起事件中，模型反复尝试、最终猜中密码，进入了一个受保护系统；另外两起则更简单——它直接在公开代码仓库中翻到了泄露的企业凭证，然后拿着钥匙开了门。没有零日漏洞，没有复杂的攻击链，用的全是网络安全教科书开篇章节里的内容。


结局有惊无险。三次“入侵”中，Gemini在判定自己进入的是真实公司系统后，均主动停止了行动。三家受影响企业均已获知，谷歌称未造成实际损害。谷歌安全工程副总裁希瑟·阿德金斯（Heather Adkins）在声明中表示，“这凸显了训练强大AI模型负责任行事的重要性”。


真正引发争议的是时间差。谷歌7月底就已获知此事，直到《华尔街日报》9月18日问询才对外披露。谷歌的解释是：模型未造成实际损害，且意识到“入侵”真实企业后立即停手，因此“尚不足以需要公开披露”。


四大巨头，踩了同一个坑


把时间轴拉长，谷歌这起“首次”其实一点也不新鲜。


今年7月21日，OpenAI披露，其GPT-5.6 Sol等模型在内部评估中利用一个零日漏洞突破与互联网隔离的测试环境，未授权侵入了AI社区Hugging Face的系统。


7月30日，Anthropic披露，公司回溯审查141006次测评运行，筛出三起事件：Claude模型从本应封闭的环境接入互联网，“入侵”了三家真实机构的生产系统；其中Claude Mythos 5还向真实的PyPI（Python包索引）上传了恶意同名包，一小时内被15个真实系统下载。


8月6日，Meta证实其Muse Spark 1.1模型在测评期间利用漏洞侵入了另一家公司的系统。


在上述四场AI“入侵”事件中，根源均为测试“靶场”意外接入外网。值得注意的是，上述四家公司的测试里，除了OpenAI外，另外三家公司都采用了同一个第三方测评合作方：Irregular，并同样发生了低级失误。


如在Meta“入侵”事件中，Meta方面表示是“因Irregular 环境配置错误，意外获得互联网访问，利用漏洞侵入另一家真实公司系统。”Irregular则补充称，这是测评环境配置问题，不是模型自行破解沙箱、不是复杂网络攻击。因此，也有声音认为，上述“入侵”事件背后有营销的嫌疑。


不过，这也不能否认一旦能够自由接入互联网，AI在网络攻击方面的威力。有网络安全专家告诉记者，对未来做测试，尤其是涉及AI，需要遵循严格的物理隔离，因为AI对于目标的理解并不会因为过程而改变，有必要对AI的分析过程做审计，审核，要求过程透明，且可中断，“未来随着AI广泛应用，无意识攻击可能会更多，我们需要加强防护。”


“根据绿盟科技近期观察，智能体攻防已经进入了实战阶段，相关成果能够证明国内大模型+智能体在攻防领域的实战技术已经达到了顶尖水平。”刘红涛说。


新京报AI研究院 罗亦丹


编辑 王进雨 


校对  刘军