态势感知：未来十年 (SITUATIONAL AWARENESS: The Decade Ahead)

作者：Leopold Aschenbrenner 发布时间：2024年6月

在旧金山，你能最先看到未来。

在过去的一年里，城里热议的话题已经从百亿美元的计算集群，转向了千亿美元的集群，再到如今万亿美元的集群。每隔六个月，董事会的计划书上就会多加一个零。在幕后，人们正在激烈地争夺这十年里所有还能拿到的电力合同，以及所有能采购到的变压器。美国的大企业正准备投入数万亿美元，开启一场久违的美国工业力量大动员。到本世纪20年代末，美国的电力产量将增长百分之几十；从宾夕法尼亚州的页岩气田到内华达值的太阳能农场，数以亿计的 GPU 将发出轰鸣。

AGI（通用人工智能）竞赛已经打响。我们正在建造能够思考和推理的机器。到 2025/2026 年，这些机器的能力将超越许多大学毕业生。到这十年结束时，它们将比你我都要聪明；我们将拥有真正意义上的超级智能。在此过程中，半个世纪以来未曾见过的国家安全力量将被释放；用不了多久，“那个项目”（The Project）就会正式启动。如果幸运的话，我们将与中共展开一场全力以赴的竞赛；如果不幸的话，那将是一场全面战争。

现在人人都在谈论 AI，但很少有人能隐约意识到即将受到怎样的冲击。英伟达的分析师依然认为 2024 年可能已接近顶峰。主流权威们依然固执且盲目地认为“它只是在预测下一个词”。他们看到的只有炒作和一切照旧的商业模式；最多，他们只是在期待又一场互联网级别的技术变革。

不久之后，世界将会觉醒。但现在，也许只有几百个人拥有“态势感知”（situational awareness），他们大多在旧金山和各大 AI 实验室里。无论是因为何种奇特的命运力量，我发现自己也置身其中。几年前，这些人还被嘲笑为疯子——但他们相信趋势线，这使得他们准确预测了过去几年 AI 的发展。这些人对未来几年的预测是否同样准确，还有待观察。但他们是非常聪明的人——是我见过的最聪明的人——而且正是他们正在构建这项技术。也许他们将成为历史上一个古怪的注脚，又或者他们会像西拉德（Szilard）、奥本海默（Oppenheimer）和泰勒（Teller）一样被载入史册。如果他们看到的未来哪怕只有一点点接近现实，我们都将迎来一段疯狂的旅程。

让我来告诉你我们看到了什么。

目录 (Table of Contents)

每篇文章都可以独立成篇，但我强烈建议将整个系列作为一个整体来阅读。

引言（本页）

历史正在旧金山鲜活地上演。

I. 从 GPT-4 到 AGI：计算数量级 (Counting the OOMs)

到 2027 年实现 AGI 是极具可能性的。从 GPT-2 到 GPT-4，我们在 4 年时间里实现了从“大约学龄前儿童”到“大约聪明的高中生”能力的跨越。追踪计算量（每年约 0.5 个数量级或 OOMs）、算法效率（每年约 0.5 个数量级）以及“解除束缚”（unhobbling，从聊天机器人演进到智能体）的趋势线，我们有理由预期，到 2027 年，将会出现另一次从“学龄前儿童到高中生”规模的质的飞跃。

II. 从 AGI 到超级智能：智能爆炸 (The Intelligence Explosion)

AI 的进步不会停留在人类水平。数亿个 AGI 可以将 AI 研究自动化，将十年的算法进步（5 个以上数量级）压缩到不到 1 年内。我们将迅速从人类水平的 AI 跃升为大幅超越人类的超级智能系统。超级智能的力量——及其危险——都将是极具戏剧性的。

III. 挑战 (The Challenges)

• IIIa. 竞逐万亿美元计算集群 一场最为非凡的技术资本加速运动已经启动。随着 AI 收入的急剧增长，在本世纪 20 年代末之前，将有数万亿美元投入到 GPU、数据中心和电力的建设中。这场工业大动员将非常激烈，包括使美国的发电量增长百分之几十。
• IIIb. 封锁实验室：AGI 的安全性 美国顶尖的 AI 实验室将安全问题视为事后诸葛亮。目前，他们基本上是在把通向 AGI 的关键机密双手奉送给中共。保护 AGI 的机密和权重（weights）免受国家级威胁者的窃取将是一项艰巨的工作，而我们目前并未步入正轨。
• IIIc. 超级对齐 (Superalignment) 可靠地控制比我们聪明得多的 AI系统仍是一个未解决的技术难题。尽管这是一个可以解决的问题，但在快速的智能爆炸期间，事情很容易脱轨。管理这一过程将极度令人紧张；一旦失败，极易导致灾难性的后果。
• IIId. 自由世界必须获胜 超级智能将带来决定性的经济和军事优势。中国还完全没有出局。在 AGI 的竞赛中，自由世界的生死存亡将受到考验。我们能否保持对威权主义大国的优势？我们又能否在这一过程中避免自我毁灭？

IV. 那个项目 (The Project)

随着 AGI 竞赛的加剧，国家安全机构将会介入。美国政府将从沉睡中苏醒，到 2027/2028 年，我们将看到某种形式的政府 AGI 项目。没有任何初创公司能够掌控超级智能。在某个敏感信息隔离设施 (SCIF) 的深处，终局之战即将开启。

V. 临别感言 (Parting Thoughts)

如果我们是对的呢？

本系列的下一篇文章： I. 从 GPT-4 到 AGI：计算数量级

声明：虽然我曾在 OpenAI 工作，但本文所有内容均基于公开信息、我自己的想法、一般的领域知识或旧金山坊间的传闻。

致谢：感谢 Collin Burns, Avital Balwit, Carl Shulman, Jan Leike, Ilya Sutskever, Holden Karnofsky, Sholto Douglas, James Bradbury, Dwarkesh Patel 等人富有启发性的讨论。感谢许多朋友对初稿的反馈。感谢 Joe Ronan 在图表方面的帮助，以及 Nick Whitaker 在出版方面的协助。

献给 Ilya Sutskever。