165 頁的算術題：從 GPT-4 到超級智慧要幾個數量級
2024 年 6 月，一位 22 歲的前 OpenAI 研究員發表了一份 165 頁的長文，用數量級分析框架論證 AGI 在 2027 年實現「極其合理」。這篇名為 Situational Awareness 的文章涵蓋了從算力外推到智慧爆發、從兆美元叢集到國家安全的完整論述，引發了 AI 社群最激烈的一場辯論。兩年後回望，哪些預測成真了，哪些仍是信仰飛躍？
本文為「AI 經典文獻回顧」系列第十九篇（上），介紹 Leopold Aschenbrenner 於 2024 年 6 月發表的長文《Situational Awareness: The Decade Ahead》。這篇 165 頁的文章用數量級分析框架論證 AGI 時間線，從算力增長外推到國家安全戰略，是 2024 年 AI 社群最具爭議的文獻之一。下篇見〈被 OpenAI 解僱的人，募了十五億美元〉。
風暴中心的一篇長文
2024 年 6 月 4 日，一篇 165 頁的長文出現在網路上。同一天，十三位 AI 工作者——其中十一位來自 OpenAI——發表了一封名為「Right to Warn」的公開信，呼籲 AI 公司停止用保密協議封住員工對安全問題的嘴。三週前，OpenAI 的超級對齊團隊剛剛解散。團隊負責人 Jan Leike 辭職時公開寫道：「安全文化和流程已經退居光鮮產品之後。」更早之前，團隊的共同領導人 Ilya Sutskever 已經悄悄離開了他共同創辦的公司。
這篇長文的作者叫 Leopold Aschenbrenner，22 歲，兩個月前剛被 OpenAI 解僱。他是超級對齊團隊的一員。
文章的標題是 Situational Awareness: The Decade Ahead——態勢感知：未來十年。「態勢感知」是一個軍事術語，指的是對當前環境中各種要素的感知、理解和預測能力。Leopold 用這個標題傳達一個核心訊息：全世界只有幾百個人真正看見了即將發生的事。多數人——包括政府官員、投資人、甚至大部分 AI 研究者——把 AI 當成一個商業科技故事來看。但 Leopold 認為，它是一個國家安全故事，等級和核武器相當。
這篇文章不是學術論文，沒有同行評審，沒有機構背書。它是一個剛被解僱的 22 歲年輕人寫的獨立分析。但它在發表後的幾週內成為 AI 社群討論最多的文獻之一，量子計算學家 Scott Aaronson 稱之為「我讀過的最非凡的文件之一」。它最終讓 Leopold 募到了十五億美元的基金。
這篇長文到底說了什麼？
一道算術題：數你的 OOM
Leopold 整篇文章的核心論證框架，可以用一個概念來概括：OOM，Order of Magnitude，數量級。
他的出發點是一個觀察：從 GPT-2 到 GPT-4，AI 的「有效計算量」在四年內增長了大約四到五個數量級。2018 年的 GPT-2 使用了約 4×10²¹ FLOP 的算力來訓練；2022 年的 GPT-4 使用了 8×10²⁴ 到 4×10²⁵ FLOP。這四到五個 OOM 的增長，把 AI 的能力從「學齡前兒童」的水準提升到了「聰明的高中生」。
Leopold 接著問：如果再來四到五個 OOM，會發生什麼？
他把有效計算量的增長拆解成三個驅動力。第一個是算力規模本身的增長。訓練預算持續指數增長，GPU 硬體效能持續提升，這給出了大約每年 0.5 個 OOM 的增長。第二個是演算法效率的提升。ImageNet 的數據顯示，2012 到 2021 年間，達到相同性能所需的計算量每年減少約 0.5 個 OOM。語言模型的數據顯示類似的趨勢。第三個是他稱為「解鎖潛能」（unhobbling）的因素：RLHF 後訓練釋放了基礎模型的潛在知識，思維鏈推理讓模型學會了「慢想」，從聊天機器人到自主代理的轉變還在進行中。前兩個驅動力可以量化，每年各約 0.5 個 OOM；第三個難以量化，但 Leopold 認為它的貢獻可能比前兩個加起來還大。
把這些加在一起，Leopold 得出一個結論：從 2024 年到 2027 年底，AI 可以再獲得大約三到六個 OOM 的有效計算量增長。這相當於從 GPT-2 到 GPT-4 的又一次飛躍。如果 GPT-2 到 GPT-4 是從學齡前兒童到聰明高中生，那麼再一次同等幅度的跳躍，就是從聰明高中生到專家級工作者。Leopold 認為，這就是 AGI。
他用了一個審慎的措辭：AGI 在 2027 年實現是「strikingly plausible」——極其合理的。不是必然，不是確定，但如果你認真看待這些數字，你很難說它不合理。正如我們在系列第十篇介紹 Scaling Laws 時所寫的，Kaplan 等人在 2020 年量化了模型規模與性能之間的冪律關係。Leopold 的 OOM 分析框架，本質上就是把這些冪律外推到未來四年。而 Gwern 在我們系列第十一篇介紹的 Scaling Hypothesis 中預言的——「足夠規模的語言模型可能展現通用智能」——Leopold 把它從假說變成了一道具體的算術題。
從 AGI 到超級智慧：不到一年
如果故事只停在「AGI 可能在 2027 年出現」，Situational Awareness 大概不會引起這麼大的波瀾。真正讓人不安的是 Leopold 的第二章：一旦達到 AGI，從 AGI 到超級智慧的轉變可能在不到一年內完成。
他的論證邏輯是這樣的。一旦 AI 達到了「能力相當於一個遠端工作者」的水準，你就可以同時運行數百萬個這樣的 AI 副本。這些副本不需要睡覺，不需要休假，可以 24 小時全天候以峰值效能運作。更關鍵的是，它們可以從事的工作中，有一項特別危險：AI 研究本身。
如果數百萬個 AGI 級別的研究員同時研究如何讓 AI 變得更聰明，會發生什麼？Leopold 估計，這種自動化 AI 研究可以把人類十年的演算法進步——大約五個以上的 OOM——壓縮到不到一年。這相當於在 AGI 的基礎上，再疊加一個 GPT-2 到 GPT-4 級別的跳躍。
他把這叫做「intelligence explosion」，智慧爆發。這個概念不是 Leopold 發明的，可以追溯到數學家 I.J. Good 在 1965 年的論述。但 Leopold 做了一件前人沒有做過的事：他把這個概念放進了具體的時間線和數量級框架裡。不是「某天可能會發生」，而是「2028 到 2029 年，智慧爆發將開始進行；到 2030 年，超級智慧將會出現。」
他對可能的反駁逐一回應。「有些研究領域很難自動化」——不需要自動化所有領域，只需要自動化 AI 研究本身就能啟動爆發。「算力會成為瓶頸」——大量研究者可以提高「每次實驗的價值」，即使受算力限制仍可獲得約十倍的研究加速。「還有最後一哩路的問題」——AI 研究基於電腦，不像其他領域有手動操作或社交的複雜性。每一個反駁都被他用具體的論證消解。
兆美元叢集與鎖死的實驗室
Situational Awareness 的後半部分從技術預測轉向了地緣政治分析，這也是最具爭議的部分。
第三章分為四個子章節。第一個子章節預測了算力基礎設施的投資軌跡：2022 年的 AI 訓練叢集大約花費五億美元、消耗 10 MW 電力；到 2028 年將成長到數千億美元、10 GW 電力；到 2030 年，單一叢集的成本可能超過一兆美元，消耗的電力將超過美國總發電量的 20%。Leopold 認為這些投資是可行的。他引用了歷史先例：曼哈頓計畫、阿波羅計畫、網路基礎設施建設，各約需要 GDP 的 0.5%。如果 AI 真的能帶來 Leopold 預測的產出，這些投資的回報率將遠超歷史上的任何基建專案。
第二個子章節的標題直截了當：「Lock Down the Labs」，鎖死那些實驗室。Leopold 指出，美國頂尖 AI 實驗室的安全措施是「一般科技新創」級別的，但它們面對的威脅是「國防計畫」級別的。AI 模型的權重只是伺服器上的一個大型數字檔案，可以被複製、被竊取。如果一個對手國家取得了 AGI 的模型權重，等於即時複製了開發者的全部能力。他認為目前的安全狀態就像把曼哈頓計畫的成果放在一個沒有門鎖的倉庫裡。
第三個子章節討論超級對齊的技術問題。這裡 Leopold 展現了他作為超級對齊團隊成員的專業知識。他指出，RLHF——如我們在系列第十五篇介紹 InstructGPT 時詳細解釋的那個方法——會在 AI 系統變得比人類聰明之後「可預見地崩潰」。原因很直觀：當一個超人 AI 生成一百萬行全新程式語言的程式碼時，人類評估者根本無法判斷裡面是否藏了安全後門。但 Leopold 同時自稱「對超級對齊問題的技術可解性極度看好」。他列出了七個可能的解決方向，從可擴展監督到可解釋性研究，認為這些方向已經展現了足夠的前景。核心矛盾不是「能不能解」，而是「來不來得及」——智慧爆發的速度可能快到來不及迭代安全方案。
第四個子章節是全文最具政治色彩的部分。Leopold 直言：自由世界必須在 AGI 競賽中勝出。他分析了中國的 AI 能力（目前與美國第二梯隊實驗室相當）、超級智慧帶來的戰略優勢（不同於傳統軍事技術，它在所有後續技術領域產生主導地位）、以及失敗的後果。他預測，到 2026 到 2027 年，美國政府將意識到需要建立一個類似曼哈頓計畫的國家化 AGI 計畫。領先的 AI 實驗室將「自願地」合併，國會將撥款數兆美元用於晶片和電力基建，民主國家聯盟將形成。
承重的信仰飛躍
Situational Awareness 發表後，批評如潮水般湧來。法律與安全期刊 Lawfare 發表了一篇名為「AI Timelines and National Security: The Obstacles to AGI by 2027」的分析文章，精準地指出了 Leopold 論證中的幾個「承重的信仰飛躍」——整座大廈的重量全壓在這幾個未經證實的假設上。
第一個信仰飛躍是 OOM 外推本身的可靠性。Leopold 的整個論證建立在一個前提上：過去幾年觀察到的 Scaling Laws 會在未來四年繼續成立。但正如我們在系列第十篇所寫的，沒有人真正知道 Scaling Laws 為什麼有效。一個經驗觀察不是物理定律，它可以在任何時候失效。Gary Marcus 進一步質疑了 Leopold 對 GPT-4 能力的評估。Leopold 把 GPT-4 類比為「聰明的高中生」，但 Marcus 指出這個類比具有誤導性：GPT-4 在某些任務上表現超人，在另一些任務上連基本的可靠性都做不到。「你會雇用 GPT-4 當救生員或餐廳服務員嗎？」Marcus 反問——這些是高中生常做的工作，但沒有人會讓 GPT-4 來做。
第二個信仰飛躍在於「解鎖潛能」這個驅動力。算力增長和演算法效率提升可以量化，但「unhobbling」是一個模糊的概念，Leopold 自己也承認難以量化。然而，這個最難量化的因素恰恰是他認為貢獻最大的——他把相當大的論證重量放在了一個他自己也無法精確測量的變量上。Bill Gates 的質疑從另一個角度切入：在達到 AGI 之前，我們可能會用完可以餵給這些大型語言模型的訓練數據。數據瓶頸的問題不是 OOM 分析能解決的。
最尖銳的批評來自 EA Forum 上一篇題為「Against Aschenbrenner」的文章。它的核心論點不是說 Leopold 的預測錯了，而是說他的敘事框架本身就是危險的。Leopold 把 AI 發展框定為美中國安競賽，但批評者指出，這種「國家安全化」（national securitization）敘事不是描述性的，而是表演性的——它不只是在描述一個世界，它在建構這個世界。當你告訴美國政府「這是一場跟中國的 AGI 軍備競賽」的時候，你就在催化你所描述的那個結果。Leopold 擔心的 Moloch 式協調失敗——競爭壓力迫使所有參與者犧牲安全——恰恰是他自己的論述可能加速的動態。這與我們在系列第三篇介紹的 Scott Alexander 的 Meditations on Moloch 形成了一個諷刺的呼應：Leopold 準確地診斷了 Moloch 的存在，但他提出的解方——美國先贏——可能本身就是在餵養 Moloch。
Lawfare 文章還引用了 AI 研究者的平均預測作為對照：完全勞動自動化的 50% 概率中位數落在 2100 年代，複雜知識工作自動化在 2060 年。Leopold 的 2027 年預測不只是樂觀，而是比專家共識提前了三十年以上。文章警告：「向國安利益兜售虛假的存亡危機是危險的。」
兩年後，算術題的成績單
站在 2026 年 3 月回頭看，Leopold 的預測可以被拆成三張成績單：基礎設施、模型能力、和政策走向。
基礎設施這一科，Leopold 拿了高分。他預測兆美元級別的算力叢集將在十年結束前出現，而現實走得比他預測的還快。到 2026 年，超大規模企業計劃花費近七千億美元在資料中心專案上。Amazon 預計 2026 年支出兩千億美元，Google 預計一千七百五十億到一千八百五十億美元。Microsoft 和 OpenAI 的 Project Stargate 是一個五千億美元的多階段計畫。Nvidia CEO 黃仁勳估計，到十年末，全球將花費三到四兆美元在 AI 基礎設施上。Leopold 在 2024 年說的「Racing to the Trillion-Dollar Cluster」，在兩年後看起來不是預言，更像是低估。
模型能力這一科，成績比較複雜。LessWrong 上一篇名為「Situational Awareness: A One-Year Retrospective」的詳細回顧指出，最新 OpenAI 和 Anthropic 模型的原始計算趨勢落後 Leopold 預測約三分之一到二分之一個 OOM。AI 相關營收增長也落後了數個月。但更重要的是，即使是 Leopold 陣營中最樂觀的支持者也在修正時間線：Daniel Kokotajlo——我們會在下篇詳細介紹他——在 2025 年 11 月把 AGI 的中位數估計從 2027 年延後到了「大約 2030 年，不確定性很大」。如果連最相信這件事的人都在延後預測，原本的算術題可能有幾個變量算錯了。
政策走向這一科是最出人意料的。Leopold 預測國安體系會介入 AI 治理，這個大方向是對的。Biden 政府在 2025 年 1 月發布了 AI Diffusion Rule，建立了三層國家框架和算力出口上限。但接下來的發展不是 Leopold 預測的「曼哈頓計畫式的政府 AGI 計畫」，而是政策的反覆搖擺。Trump 政府在五月撤銷了 Diffusion Rule，推出了自己的 America's AI Action Plan。Nvidia 對中國出口的 H20 晶片政策在暫停和恢復之間來回切換。65 個中國實體被加入 Entity List，但同時 H200 的有條件出口又被批准。整體趨勢符合 Leopold 的判斷——AI 確實成為了國安議題——但執行的混亂程度遠超他的預期。他設想的是一個統一的、有清晰戰略的政府行動；現實中的政府行動更像是不同利益團體之間的拉鋸戰。
一份算術題，兩種讀法
Situational Awareness 是一份可以用兩種完全不同的方式來讀的文件。
如果你把它當成一份技術預測來讀，它的價值在於提供了一個可以被檢驗的框架。Leopold 不是在說「AGI 會來」這種空泛的預言。他給出了具體的數字、具體的時間線、具體的驅動力分解。你可以逐項檢驗他的假設，標記哪些對了、哪些錯了。兩年後的回顧顯示，他對基礎設施投資的預測準確甚至保守，對模型能力進步速度的預測偏快了大約三分之一個 OOM，對政策走向的預測方向正確但嚴重低估了執行的混亂程度。作為一份技術分析，它的命中率比多數人預期的要高。
但如果你把它當成一份政策文件來讀，評價就複雜得多。Leopold 的論述有一個深層的悖論：他準確地診斷了 AI 發展中的協調失敗風險——各國為了競爭而犧牲安全——但他提出的解方（美國必須先贏）可能正在加劇這種失敗。他告訴讀者要有「態勢感知」，但他自己的態勢感知是否也被特定的框架所局限？一個在 OpenAI 超級對齊團隊工作的人、一個被這家公司解僱的人、一個隨後創辦了以自己文章命名的投資基金的人——他的視角不可避免地受到這些經歷的塑造。
這不是說他的分析因此失效。正如 Gary Marcus 所觀察的，即使你不同意 Leopold 的時間線，他對世界缺乏 AGI 準備的擔憂仍然有道理。我們的系列從 2009 年的〈數據的不合理有效性〉一路走到這裡，Situational Awareness 和我們系列第十二篇的 Stochastic Parrots 代表了 AI 能力評估的兩個極端。一邊說 AI 只是統計模式匹配的鸚鵡，另一邊說 AGI 就在三年後。真相幾乎肯定在兩者之間，但它到底在哪個位置，目前沒有人知道。
Leopold 的算術題最有價值的部分，也許不是它的答案，而是它迫使每個讀者去想一個問題：如果他算對了，哪怕只是大致方向對了，我們準備好了嗎？
這個問題的答案，要從寫出這道算術題的那個人的故事裡去找。他是怎麼走到這一步的？被解僱之後發生了什麼？他不是唯一離開 OpenAI 的人——2024 年春天，一整批人出走了，每個人的去向都揭示了 AI 安全領域的不同張力。
我們將在下篇講述這個故事。