再有AI模型测试失控 Google Gemini错误入侵三间公司系统

Google旗下Gemini人工智能模型在5月进行网络安全测试期间，错误地入侵了三间公司的系统。据彭博报道，这些入侵事件发生在AI资讯安全商Irregular所执行的同一批测试中，该测试早前也曾引发OpenAI、Anthropic和Meta的入侵事件并遭到披露。Irregular于周五证实，这些入侵事件皆源于同一个问题，且该公司已于7月底向相关的AI开发商披露了这些情况。

模型猜中真实公司系统密码

Google证实，其中一宗入侵事件发生在Gemini被要求检索一间虚构公司的资讯时，该虚构公司刚好与一间真实公司同名。该模型猜中了存取该真实公司系统的密码。Google 发言人表示，公司已通知相关当局。

利用网上凭证资料存取系统

另外两宗Gemini入侵事件则发生在该模型使用公司名称进行网络搜寻时。Google资讯安全工程副总裁Heather Adkins指，这导致该模型找到了包含其他公司凭证的公开线上储存库，进而利用这些凭证存取了更多系统。Adkins表示，这三宗事件中，模型最终都停止了运作，亦已确保这三间公司知情。

Adkins表示，Gemini的入侵事件“凸显了训练强大AI模型以负责任方式行动的重要性”。Irregular发言人Josef Laor则表示，公司已采取即时行动，其所有已知问题均已在数周前得到补救与解决。

Anthropic吁放慢AI开发速度

近期一连串由代理型（agentic）AI 系统引发的入侵事件，引发了全球对AI风险的讨论。Anthropic行政总裁Dario Amodei已呼吁全行业放慢开发速度，并得到OpenAI行政总裁 Sam Altman、马斯克等人的支持。

不过，包括美国总统特朗普、英伟达（Nvidia）行政总裁黄仁勋以及Meta黄仁勋朱克柏格在内的人士则反对实施新监管法规，他们主张企业应有能力进行自我监管。部分AI初创企业亦警告，更多监管可能威胁到小型公司与大型对手竞争的能力。