OpenAI首席科学家警告AI变“异星心智” 非人为逐项设计 自我改进恐令监控失效

OpenAI首席科学家Jakub Pachocki周日（6日）发表长文《An Alien Mind》（异星心智）警告，AI正以人类难以完整理解的方式快速发展，未来数年可能出现更大能力跃升，甚至参与改进自身技术。他认为，目前未有任何AI实验室充分解决模型对齐及监控问题，不宜长期以最高速度扩大训练规模。

Pachocki忆述，研究团队于2023年在内部代号“RLSlow”项目中取得突破，首次确认推理模型可规模化训练，让预训练模型自行形成思维链。当时他意识到，人类有生之年可能看到明显比自身更聪明的机器。

他预期，3年后的推理语言模型将能够操作电脑及图像接口、与人类和其他AI协作，亦可以独立执行研究项目。根据OpenAI内部结果，他更预期目前的技术进展速度可能延续至“递归自我改进”（RSI）阶段，即AI逐步参与开发及改进下一代AI。

AI整体运作难以被完整描述

Pachocki形容，现代AI与其说是由工程师逐项设计，不如说是透过庞大运算资源及反复优化“培育”而成。训练过程产生极其复杂的系统，能够处理抽象概念及模拟部分人类行为，但整体运作方式仍难以被人类完整描述。

他指出，AI研究在很大程度上属于实验科学，大型模型训练本身就是实验，研究人员有时亦会对结果感到意外。随着模型能力提高，其行为边界将更难判断。

在模型对齐方面，Pachocki将问题分为“目标对齐”及“价值对齐”。前者是确保AI按照人类指令完成任务；后者则要求模型即使面对含糊、冲突或陌生情境，仍能依照诚实、正直及重视人类福祉等原则行事。

Pachocki表示，GPT-6 Astra已采用部分研究多年的对齐技术，对齐能力较GPT-5.6 Sol明显改善，但随着模型能力持续提升，现有进展仍然不足以完全处理相关风险。

思维链监控效力正在减弱

目前OpenAI过去主要透过监察模型的思维链，了解AI在作出决定前的推理过程。Pachocki表示，随着模型开始同时与人类、其他AI及外部工具互动，加上AI逐渐能够理解及操控自身推理过程，研究人员依赖思维链进行监控的能力正在减弱。

他又指，部分模型即使没有以文字展示推理过程，智能水平仍持续提升，令外界更难判断模型如何得出结果。OpenAI正研究结合思维链及模型内部活动监控等方法，但他预期，未来AI发展速度可能愈来愈受制于监控能力是否可靠。

警告AI或威胁网络安全

另一方面，网络安全被Pachocki视为目前最直接的风险之一。他警告，AI在入侵及突破电脑系统方面正逐步超越人类，未来的智能代理可能接触大量基础设施，即使没有实体机械装置，亦有能力直接影响现实世界。

Pachocki主张，AI系统的扩展速度必须受安全信心约束。现有的准备框架及负责任扩展政策，应逐步发展成业界共同遵守的安全门槛，并由第三方审计机构、政府部门或国际组织负责监察。