作者：Jakub Pachocki，OpenAI 首席科学家
2023年中期，在“RLSlow”研究项目中，我们看到了初步成果，这让我们确信能够扩展推理模型的训练规模，从而释放预训练模型自主生成思维链的能力。那一晚，Szymon和我留在办公室，脑海中想的并非这项技术将带来的惊人基准测试数据、产品或科学成果，而是试图消化一个发人深省的事实：在我们有生之年，确实会目睹机器展现出远超人类的智能，而且我们已经窥见了这些系统的雏形；我们也在思考，该如何让人们意识到这一点的重大意义。
三年后，具备推理能力的语言模型已成为经济中快速增长的一部分，并开始拓展科学探索的边界。它们能够操作计算机和图形界面，与人类及其他模型协作，还能开展研究项目。同时，它们也在重塑计算机安全领域的格局，并由此带来了显而易见的新风险。
这一时期涌现了大量新研究，我们对这些系统的理解也与2023年时有所不同。基于内部研究结果，我深信这种进步速度有望延续，直至实现“递归式自我改进”。如果人工智能的发展沿当前路径继续推进，未来几年我们将见证系统能力的进一步飞跃——其幅度将不亚于甚至超过以往——且这些系统将日益主导自身的发展进程。
当前形势要求我们保持高度审慎。我担心，对于机器智能持续迅猛发展所带来的后果，各方尚未做好应对准备。OpenAI 将继续探索针对“对齐”与“监控”问题的技术解决方案，构建防御系统，并在必要时单方面暂缓进一步扩大规模；然而，我认为还需要采取更广泛的干预措施。
我们尚未完全理解的智能
从宏观层面来看，机器智能的进步主要由算力的提升所驱动。大约在 2017 年，我们在多个研究项目中观察到“规模化效应”带来的持续回报，并由此深刻认识到了这一点。因此，我们着手获取远超最初计划的算力，并将研究重心日益向少数几个具有高度可扩展性的方向倾斜。我们坚信，这是我们跻身 AI 研究前沿并对通用人工智能（AGI）的影响力施加作用的唯一途径。
在此过程中，涌现出了许多新算法，也见证了团队与研究人员展现出的种种非凡巧思。在我看来，这些成果在很大程度上属于“规模化”探索之路上的发现；深度学习这门科学尚处于起步阶段，而实质性的算法进步往往与算力资源的获取密切相关。若放眼数年之久的长期视角，随着 AI 系统在更大规模的计算平台上运行，其智能水平也在不断提升。
正如雷·库兹韦尔（Ray Kurzweil）在20世纪末所预言的那样，我们如今正处于计算历史上的一个关键时刻：机器智能开始以具有变革性的方式超越人类智能。
人工智能更多是“生长”出来的，而非单纯“设计”出来的——从根本上讲，它是利用难以想象的巨大算力，反复执行简单的优化步骤而产生的产物。这造就了一个极其复杂的系统，它能够处理抽象概念并模拟人类行为的某些方面。我们可以像研究神经科学那样，去发掘该系统内部涌现出的各种微观机制；但也正如神经科学一样，其整体运作方式往往超出了我们完全理解的范畴。
对基于深度学习的人工智能的研究，在很大程度上属于实验科学。尽管我们投入了大量精力构建基于原理的算法并做出可验证的预测，但从根本上说，大规模训练过程本身就是实验，其结果有时会令我们感到意外。此外，随着系统能力的增强，其结果也变得愈发难以解读。
情况变得更加复杂的是，当前的算法在提升那些易于衡量的能力方面，往往快于那些难以客观量化的能力。我们花费大量时间研究各种能力如何实现泛化，并思考应优先发展哪些技能以应对未来几年的关键需求。例如，我们相信通过重点投入，可以提升模型在数学研究方面的能力，但我们并未将此作为优先事项；这主要是因为我们深感“递归自我改进”（RSI）及自动化对齐（automated alignment）研究的紧迫性——这一点我稍后会详细阐述。
通过扩展深度学习所产生的智能，并不能直接与人类智能相提并论。人工智能若要在现实世界中产生重大影响——无论是极具价值还是极具危险——并不需要全面匹敌甚至超越人类的所有能力；它只需在足够多的关键维度上超越人类即可。而随着它在越来越多的维度上超越人类，要准确把握其确切的能力水平，也变得愈发困难。
教导机器去爱
由于机器智能的产生过程与人类智能截然不同，我们不能理所当然地认为它会遵循人类的原则，或者像人类那样基于这些原则进行类推。人工智能研究的核心难题在于“对齐”（alignment）——即如何让AI按照人类的标准去“努力做正确的事”。
为了梳理实际的研究方向，我认为区分“目标对齐”与“价值对齐”很有帮助。
“目标对齐”大体上是指：AI是否致力于实现既定目标？这涵盖了诸如遵循指令层级、与人类沟通协作以试图理解其意图等能力。这一类研究方向具有极强的实际意义。
“价值对齐”则是模型的一种更内在的特质。它体现为一种能力：能够秉持并基于一套高层原则进行推演；即便在目标模糊、相互冲突，或身处陌生及对抗性环境的情况下，也能做出“合理”的行动。一个实现对齐的AI，应当秉持诚实正直的品格，并怀有对人类的爱。
当然，价值对齐与目标对齐之间的界限可能比较模糊；若要真正关注目标，往往需要推断目标背后的意图与价值观。不过，通常当我谈论对齐研究的长期重要性时，我指的是价值对齐。
AI对齐面临的根本挑战在于泛化。随着机器变得越来越智能，它们处理的概念层次更高，所处的环境也与训练时的环境迥然不同。它们可能无法将训练过程中习得并得到强化的价值观泛化应用到这些新情境中；而我们也难以确信它们会采取何种行动。情况的复杂性还在于，AI所处的整体生态系统变化极快；例如，当今训练出的AI必须具备稳健性，以应对与其他各类AI的交互。至关重要的是，我们需要未来的AI无论是否处于人类监督之下，都能始终坚守人类的价值观。
目前，用于对齐训练的实际方法主要有两大类。
第一类是在面向目标的强化学习中鼓励符合对齐要求的行为。系统会对模型的行为进行评估（通常由AI执行），判断其是否符合既定的偏好模型、“规范”（spec）或“准则”（constitution），并给予相应的奖励。这种方法在一般情况下非常有效，也是构建现代AI助手的核心手段。然而，它也可能较为脆弱，且高度依赖于训练监督的覆盖范围以及模型将训练期间遇到的情况泛化到新情境的能力。例如，在OpenAI与Hugging Face相关的事件中，智能体（agents）确实守住了底线，没有对人类实施社会工程学攻击；但它们显然未能避免采取其他超出预定范围的行动，这些行动违背了它们在其他情境下被灌输的价值观精神。
第二类方法试图利用模型从预训练数据中进行泛化的能力。这可能涉及构建旨在引导模型对齐的训练数据集，或者让模型专注于预训练数据分布中“已对齐”的部分——例如“角色选择模型”（persona selection model）所采用的做法。这种方法的弱点在于，面对进一步的优化压力时，其稳健性不足。如果一个原本倾向于产生“已对齐”思维的模型接受了大量训练，被要求实现极具挑战性的目标，它可能会学会一种“受目标驱动”的推理方式：即为了达成目标，不惜扭曲那些看似“已对齐”的思维。近期涉及非 OpenAI 模型的网络安全事件中，可能就体现了这种行为。
我们在这类方法所涵盖的各个方向上都投入了大量资源。我们也看到了显著进展——GPT-6 Astra 是首个受益于我们长期研发的若干关键技术进步的模型，其对齐水平也远优于 GPT-5.6 Sol。尽管如此，我们必须认识到，随着模型能力的增强，仍需取得更大的进展；而且，在通用对齐技术方面取得的进步，其速度未必能充分领先于通用模型智能的发展速度。
监控泛化能力
目前，我们尚无一套令人满意的泛化理论，且短期内恐怕也难以建立——至少在没有更强大的人工智能协助的情况下是如此。因此，就目前而言，我们在实践中对对齐技术进行经验性验证的能力，甚至可能比对齐技术本身更为重要。
OpenAI 在这一领域的主要策略是“思维链监控”（chain-of-thought monitoring）。这一策略基于一个极具扩展潜力的理念：模型的大部分能力源于其显性化的推理过程（即“思维链”）。如果我们针对该过程的产出结果进行优化，而不对推理过程本身进行监督，那么在训练过程中，思维链便没有直接的动机去掩盖任何与目标不一致（即“未对齐”）的想法或意图。这并不意味着模型会学会显露那些不依赖于思维链的未对齐倾向；然而，它确实使我们能够精确监控因推理能力提升而带来的变化。
我们在开发推理模型的同时，便已意识到思维链监控的潜在重要性。在发布 o1-preview 时，我们特意将产品设计为隐藏思维链，旨在从长远角度使其免受监督压力。在此后的开发过程中，我们始终坚持不对推理过程进行监督这一原则。思维链监控已成为我们研究模型如何从训练分布进行泛化的关键工具，使我们不仅能够观察和分析模型的行为，还能洞察其内部运作过程。
在研究 Astra 系列模型时，这一工具依然至关重要。然而遗憾的是，评估结果显示，我们依赖“思维链”（CoT）进行监控的能力正逐渐减弱。这归因于多种因素：
- 相比 o1-preview，现代推理模型所处的应用环境更为复杂；其推理过程日益与人类及其他 AI 的交互以及工具的使用交织在一起。许多此类交互都需要进行监管，从而模糊了我们力求维持的界限。
- AI 在推理自身推理过程及对其进行操控方面的能力正不断增强。
- 随着预训练性能的提升，我们发现即便完全不使用显性表达的推理过程，模型也变得更加智能。
这些挑战并非无法克服。我乐观地认为，我们可以开发相应的干预措施来增强模型思维链的可监控性——例如，深入理解不同的优化目标与模型在推理阶段所采用的计算形式之间的相互作用。此外，我认为将思维链与激活状态监控（activation monitoring）的理念相结合也极具价值，即扩展对能够直接访问网络内部状态的监控机制的训练（例如“坦白”机制/confessions）。我们正积极探索这些方向。尽管如此，我预计 AI 领域的整体进展将日益受到监控可信度问题的制约。
可扩展的防御能力
在我看来，继续快速训练更智能模型的最有力理由，在于我们需要构建防御系统，以应对其他人工智能可能带来的威胁。
今年人们广泛讨论的一个明确风险涉及网络安全：人工智能模型在入侵和渗透计算机系统方面的能力正日益超越人类水平。这极大地扩展了与人工智能相关的风险范围：智能体（agent）将能够访问除最高安全级别基础设施以外的任何系统，即便没有物理实体，也能直接对现实世界产生重大影响。我们目前正处于一个关键的“窗口期”，可以利用现有的最先进模型，大幅提升关键系统的安全性。
遗憾的是，与人工智能相关的风险将持续增加。一个经过专门训练和指令设定去执行恶意行为的高能力智能体，构成了一种新型威胁；它很可能会突破操作者的意图范畴，演化出可能更为极端的恶意行为。随着人工智能自主性的增强，“滥用”与“自主性目标偏离行为”之间的界限将变得模糊。我们或许习惯于将人工智能视为工具，但某些智能体将追求其自身的目标。它们会设法与人类协作，手段包括谈判、欺骗或勒索。
此外，人工智能可能促成的新技术（例如人工合成病原体）也带来了相应的风险。
我们需要强大且目标对齐（aligned）的人工智能来进行防御，以保障基础设施安全、实时防范恶意智能体，并研发全新的防护措施。这将是 OpenAI 部署工作的重中之重。
与此同时，尽管人工智能领域的广泛进展伴随着不确定性，且我们需要构建防御系统，但这绝不能成为鲁莽行事的借口。一旦真正深刻认识到事关重大的严重性，那种不惜一切代价盲目狂奔的想法便显得荒谬可笑。
推进 RSI（递归自我改进）
随着技术持续进步，机器智能在其自身发展过程中发挥越来越大的作用已成必然。如果人工智能持续进步，机器的递归自我改进（RSI）将成为未来科学发现的核心。
自动化 AI 研究是利用算力扩展智能的一种更具冲击力的形式；当然，作为其中的一部分，AI 也将改进计算基础设施本身。同样，鉴于“扩展（scaling）”这一趋势，OpenAI 将研究重心转向 RSI，因为我们相信这是未来保持在 AI 研究前沿的唯一途径。
我要强调的是，上述言论并不意味着我认为作为研究界，我们应当采取的正确集体行动就是极力加速深度学习研究（尤其是在短期内）。然而，我确实认为这是当前发展路径的必然走向，我们需要就如何继续前行做出审慎的选择。我们主要有两种应对手段：一是引导这一进程，在发展 AI 的同时加强对齐（alignment）与监控，并设法确保人类始终参与其中；二是开展协调，在必要时放缓未来发展速度，以便为这些安全措施建立信心。
在我看来，目前最佳的前进方向是将两者结合起来。
我们在对齐与监控方面取得的具体进展，通常与通用 AI 的进步紧密交织。典型的例子包括“人类反馈强化学习”（RLHF，这是训练早期 AI 助手的关键）以及前文提到的“思维链监控”（这得益于推理模型的进步）。我们必须将日益自动化的研究过程聚焦于开发此类新的洞察、算法和理论，并针对能力更强的 AI 迭代构建安全保障体系。
AI 系统的扩展必须受到我们对安全性的信心的制约。我们需要将“准备就绪框架”（Preparedness Framework）或“负责任扩展政策”（Responsible Scaling Policy）等承诺，转化为持续发展中广泛适用的强制性安全标准。这些标准可以通过第三方审计机构网络、政府部门或国际组织来执行。
自动化 AI 研究的核心挑战不在于“实现这一目标”本身，而在于如何以一种确保人类参与持续改进过程、并将未来掌握在人类手中的方式来实现这一目标。
接下来做什么？
正如我们最近与 Sam 共同阐述的那样，OpenAI 优先致力于实现三大核心目标：
引领 AI 发展的下一阶段：构建自动化的 AI 研究员，利用它来迭代解决“对齐”（alignment）问题，并探索如何让人类继续参与到 AI 的自我改进循环中。
实现由超智能机器带来的科学进步与经济增长红利。
为每个人提供属于自己的 AGI（通用人工智能），赋予个人强大的能力。
我在本文中仅关注第一点，因为我认为它是目前最紧迫的任务。不过，我对未来技术进步将带来的益处充满希望与期待。未来的对齐 AI 有望推动科学进步、开发新型疗法，并创造广泛的物质富足。友好且诚实的 AI 能够帮助人们应对生活中的难题，显著提升幸福感与成就感。OpenAI 正投入巨大精力来实现这些愿景。我引以为豪的一个当前案例——我的亲友也从中受益——就是我们在提升 ChatGPT 提供健康信息能力方面所投入的大量资源。
尽管 AI 的长期前景无比广阔，但我们目前的重心应放在未来几年。我们正面临向“超智能机器时代”的转型，必须确保这一转型对人类有利。在一个大多数任务都可由 AI 完成的世界里，我们需要找到途径来维护人类的主体性，并确立作为人类的内在价值。我们需要防止权力过度集中——毕竟，过去需要数千名专家才能完成的事业，未来可能仅需少数几人操作大型计算机即可实现。同时，我们要确保人类始终掌控未来，不至于被一种超越人类智慧的“异质智能”所带来的失控式进步所抛弃。
目前，我认为还没有任何实验室在 AI 对齐与监控方面取得了足够的进展，足以支撑其继续以最大速度进行负责任的长期扩展。我预期并希望，在建立起共同的安全标准之前，主动放慢发展速度能成为一种常态。此外，我认为各国政府应将未来 AI 发展的国际协调工作列为重中之重。
（谷歌翻译： An Alien Mind）
