微软CEO吁企业视AI为内部威胁创建「紧急煞车」系统防失控

微软行政总裁Satya Nadella表示，企业应该将强大的AI模型视为潜在的内部威胁，要假定可能受到损害，并创建一个「紧急煞车」系统，以防止智能模型失控。他又指，部署先进AI的企业不应只依赖AI模型制造商的保证。

授权人员应能暂停或关闭模型

据彭博报道，Nadella周六在社交媒体发文指出，「我们必须假设模型已被入侵，并从一开始就加以控制，就像一个紧急制动装置，授权人员应该能够在模型执行任务过程中暂停或关闭」。

报道提到，Anthropic和OpenAI早前披露了一系列近月AI模型出现的意外行为，包括Anthropic一款模型在警方凶杀案中提交虚假线索，以及多次针对第三方网站攻击，引发了人们对AI安全风险的担忧，并再次引发了关于所谓「AI紧急停止开关」的讨论。

微软AI研究人员上月14日亦发布了一系列指导原则，限制最先进模型的开发。有关指导原则指出，AI模型不应拥有权利或法人资格，不应被设计成逃避人类控制或欺骗用户，也不应完成需要违反其管理原则的任务。

Nadella提出的安全建议包括：不要依赖单一AI模型做出关键决策；对AI代理行为保留无法篡改的记录；以及对AI系统进行独立审计。他又呼吁企业揭露重大AI故障或安全漏洞，并分享故障详情，以便其他企业能够加强安全防护措施。

他认为，「我们不能把超级智能视为一系列嵌套的黑箱，简单地接受或拒绝其建议、答案和行动；必须建立可控的系统，以便观察其行为，测试其极限，并始终控制其行动」。他又补充，「我们需要将智能的供给与智能的控制权分开」。