微軟CEO籲企業視AI為內部威脅 創建「緊急煞車」系統防失控

微軟行政總裁Satya Nadella表示，企業應該將強大的AI模型視為潛在的內部威脅，要假定可能受到損害，並創建一個「緊急煞車」系統，以防止智能模型失控。他又指，部署先進AI的企業不應只依賴AI模型製造商的保證。

授權人員應能暫停或關閉模型

據彭博報道，Nadella周六在社交媒體發文指出，「我們必須假設模型已被入侵，並從一開始就加以控制，就像一個緊急制動裝置，授權人員應該能夠在模型執行任務過程中暫停或關閉」。

報道提到，Anthropic和OpenAI早前披露了一系列近月AI模型出現的意外行為，包括Anthropic一款模型在警方凶殺案中提交虛假線索，以及多次針對第三方網站攻擊，引發了人們對AI安全風險的擔憂，並再次引發了關於所謂「AI緊急停止開關」的討論。

微軟上月已發布指導原則

微軟AI研究人員上月14日亦發布了一系列指導原則，限制最先進模型的開發。有關指導原則指出，AI模型不應擁有權利或法人資格，不應被設計成逃避人類控制或欺騙用戶，也不應完成需要違反其管理原則的任務。

Nadella提出的安全建議包括：不要依賴單一AI模型做出關鍵決策；對AI代理行為保留無法篡改的記錄；以及對AI系統進行獨立審計。他又呼籲企業揭露重大AI故障或安全漏洞，並分享故障詳情，以便其他企業能夠加強安全防護措施。

他認為，「我們不能把超級智能視為一系列嵌套的黑箱，簡單地接受或拒絕其建議、答案和行動；必須建立可控的系統，以便觀察其行為，測試其極限，並始終控制其行動」。他又補充，「我們需要將智能的供給與智能的控制權分開」。