再有AI模型測試失控 Google Gemini錯誤入侵三間公司系統

Google旗下Gemini人工智能模型在5月進行網路安全測試期間，錯誤地入侵了三間公司的系統。據彭博報道，這些入侵事件發生在AI資訊安全商Irregular所執行的同一批測試中，該測試早前也曾引發OpenAI、Anthropic和Meta的入侵事件並遭到披露。Irregular於周五證實，這些入侵事件皆源於同一個問題，且該公司已於7月底向相關的AI開發商披露了這些情況。

模型猜中真實公司系統密碼

Google證實，其中一宗入侵事件發生在Gemini被要求檢索一間虛構公司的資訊時，該虛構公司剛好與一間真實公司同名。該模型猜中了存取該真實公司系統的密碼。Google 發言人表示，公司已通知相關當局。

利用網上憑證資料存取系統

另外兩宗Gemini入侵事件則發生在該模型使用公司名稱進行網路搜尋時。Google資訊安全工程副總裁Heather Adkins指，這導致該模型找到了包含其他公司憑證的公開線上儲存庫，進而利用這些憑證存取了更多系統。Adkins表示，這三宗事件中，模型最終都停止了運作，亦已確保這三間公司知情。

Adkins表示，Gemini的入侵事件「凸顯了訓練強大AI模型以負責任方式行動的重要性」。Irregular發言人Josef Laor則表示，公司已採取即時行動，其所有已知問題均已在數周前得到補救與解決。

Anthropic籲放慢AI開發速度

近期一連串由代理型（agentic）AI 系統引發的入侵事件，引發了全球對AI風險的討論。Anthropic行政總裁Dario Amodei已呼籲全行業放慢開發速度，並得到OpenAI行政總裁 Sam Altman、馬斯克等人的支持。

不過，包括美國總統特朗普、英偉達（Nvidia）行政總裁黃仁勳以及Meta黃仁勳朱克柏格在內的人士則反對實施新監管法規，他們主張企業應有能力進行自我監管。部分AI初創企業亦警告，更多監管可能威脅到小型公司與大型對手競爭的能力。