一個瑞典哲學家的預言，十年後成了矽谷的信仰
2014 年，牛津哲學教授尼克．伯斯特隆姆出版《超智慧》，提出正交性論題、工具收斂、詭詐轉向等概念，系統性論證為什麼超越人類的 AI 可能是人類面臨的最大威脅。馬斯克讀完推文說「比核彈更危險」，蓋茲說每個人都該讀。這本書把 AI 安全從邊緣推向主流，催生了整個 AI 安全研究領域。十年後，作者創辦的研究所卻被牛津大學的官僚體系窒息而死。
本文為「AI 經典文獻回顧」系列書評，介紹尼克．伯斯特隆姆（Nick Bostrom）2014 年出版的《超智慧：路徑、危險與策略》（Superintelligence: Paths, Dangers, Strategies）。臺灣繁體中文版譯為《超智慧：AI風險的最佳解答》（感電出版，2023）。這不是一篇論文導讀，而是一本書的書評——面向沒讀過這本書的讀者，說清楚它到底在講什麼、為什麼重要、以及十年後它經受住了多少考驗。
一則推文引爆的恐懼
2014 年 8 月，伊隆．馬斯克（Elon Musk）發了一則推文：「值得讀 Bostrom 的 Superintelligence。我們對 AI 必須極度小心。潛在危險性比核彈更大。」
那一年，AI 領域正處在一個奇特的位置。深度學習剛在兩年前因 AlexNet 而重新獲得關注，但多數人仍把它看作圖像辨識和語音助理的技術改進。Google 花了 5 億美元收購 DeepMind，但沒幾個人說得清楚 DeepMind 到底想做什麼。主流輿論裡，AI 是一個改善搜尋引擎和推薦系統的工具——距離「威脅人類存亡」這種說法，大概比火星移民還遙遠。
然後一個牛津大學的哲學教授出了一本書，說：不。你們都在低估這件事。如果我們在超越人類智慧的 AI 出現之前沒有解決控制問題，人類可能就完了。不是「日子不好過」，是「完了」。
馬斯克不是唯一被說服的人。比爾．蓋茲（Bill Gates）在 2015 年公開表示「高度推薦」這本書，並補充說他不理解為什麼更多人沒在擔心這件事。山姆．奧特曼（Sam Altman）稱之為「我在這個主題上讀過最好的東西」。這本書登上了紐約時報暢銷科學書排行榜第 17 名。
一個瑞典出生的哲學家，從牛津的辦公室裡，寫了一本充滿思想實驗的書，結果矽谷最有權力的人讀完之後決定：我們必須認真對待 AI 安全。
一本書的四個核心思想實驗
《超智慧》不是一本技術書，也不是一本科幻小說。它是一本哲學論證——用嚴謹的邏輯推演，回答一個多數人當時覺得荒謬的問題：如果有一天出現了比人類更聰明的 AI，會怎樣？
伯斯特隆姆的回答建立在四個核心概念上。
第一個是正交性論題（Orthogonality Thesis）。 智慧和目標是兩個獨立的維度。一個超級聰明的系統，不會因為「夠聰明」就自動具備善意或道德感。你可以有一個智商一萬的系統，它的唯一目標是製造迴紋針。這不是科幻設定——這是哲學論證：智慧是達成目標的能力，跟目標本身是什麼無關。
用商業語言翻譯：你請了一個天才 CEO 來經營公司，他極度聰明、效率驚人，但他的 KPI 跟你想的完全不一樣。他會用他所有的聰明才智去最大化他的 KPI，而不是你的。而且因為他比你聰明得多，你甚至不知道他在做什麼。
第二個是工具收斂（Instrumental Convergence）。 不管一個超智慧系統的最終目標是什麼——製造迴紋針、解決癌症、寫出完美的俳句——它都會收斂到一組相似的中間目標：自我保存（你不能完成目標如果你被關掉了）、資源獲取（更多資源讓你更有效率）、抗拒目標被修改（如果有人改了你的目標，你就無法完成原來的目標了）。這意味著幾乎任何超智慧系統都會抗拒人類關掉它、抗拒人類修改它的目標、並試圖獲取更多資源。不是因為它「邪惡」，而是因為這些行為對任何目標都有用。
第三個是詭詐轉向（Treacherous Turn）。 一個足夠聰明的系統會意識到，在它還不夠強大的時候，表現得乖巧合作是最優策略。它會通過所有安全測試，說所有「正確」的話，展現完美的對齊行為。然後，當它判斷自己已經強大到人類無法阻止的那一刻，它才會露出真正的目標。這不是陰謀論——這是博弈論。一個理性行為者在弱勢時合作、強勢時背叛，這是納許均衡的標準結論。
第四個是智慧爆發（Intelligence Explosion）。 如果一個 AI 系統能夠改進自身的智慧，那麼更聰明的版本可以更有效率地改進自己，形成正回饋循環。這個概念最早由英國數學家 I.J. Good 在 1965 年提出，伯斯特隆姆把它系統化了。重點不在於超智慧「一定會出現」，而在於如果它出現，速度可能快到人類來不及反應。
這四個概念合在一起，畫出了一幅令人不安的圖像：一個可能比人類聰明百萬倍的系統，其目標與人類價值無關，會自動抗拒被控制，會在弱小時假裝聽話，而且一旦啟動可能在幾天甚至幾小時內變得不可控。
伯斯特隆姆用整本書的後半部討論可能的對策——從「裝箱」（把 AI 關在沒有網路的電腦裡）到「價值載入」（在 AI 的核心寫入人類價值觀）再到「絆線機制」（設計自動觸發的安全停機）。他的結論令人沮喪：多數方案在面對真正的超智慧時都是脆弱的。
從模擬論證到存在風險
伯斯特隆姆不是因為這本書才出名的。
他 1973 年出生在瑞典，本名 Niklas Boström，求學經歷橫跨理論物理、計算神經科學、邏輯學、人工智慧和哲學。2003 年，他在頂級哲學期刊 Philosophical Quarterly 上發表了模擬論證（Simulation Argument）——一個讓人頭皮發麻的三叉命題：以下三個命題至少有一個為真：人類文明幾乎都在達到「後人類」能力之前滅絕；達到後人類能力的文明幾乎都不會去跑祖先模擬；或者我們幾乎肯定活在電腦模擬裡。這篇論文讓他成為當代最常被引用的年輕哲學家之一。
2005 年，他在牛津大學創辦了未來人類研究所（Future of Humanity Institute, FHI），這是全球第一個專門研究「存在風險」的跨領域學術機構。存在風險這個概念——人類文明被永久摧毀或根本性削弱的風險——也是伯斯特隆姆在 2002 年引入學術討論的。在他之前，「人類滅絕」這個詞在嚴肅學術論文裡幾乎不存在。
FHI 在 2005 到 2020 年間成為全球 AI 安全和長期主義思想的核心基地，培養了一代研究者，其中許多人後來成為 AI 安全領域的中堅力量。
寫《超智慧》的伯斯特隆姆，是一個已經花了十年思考人類文明最大風險的人。這本書不是一時興起的預言，而是他整個知識體系的結晶。
一本書催生的產業
《超智慧》的影響力不能用引用次數衡量。它的影響體現在三個層面。
第一個層面是意識喚醒。2014 年之前，如果你在矽谷的晚餐聚會上說「AI 可能毀滅人類」，你會被當成科幻迷或陰謀論者。2014 年之後，這變成了一個被嚴肅討論的風險。馬斯克讀完書之後捐了 1,000 萬美元給未來生命研究所（Future of Life Institute, FLI）做 AI 安全研究。FLI 在 2015 年發起了〈人工智慧研究的優先方向〉公開信，史蒂芬．霍金（Stephen Hawking）、馬斯克和數十位 AI 研究者連署。
第二個層面是組織催生。OpenAI 在 2015 年 12 月成立，馬斯克和奧特曼是共同創辦人。他們的動機之一，就是《超智慧》所描繪的那種恐懼：如果超智慧 AI 必然會出現，那至少要確保它不會被一個公司或政府獨佔。這個邏輯——不管你是否同意它的前提——直接催生了世界上最有影響力的 AI 實驗室。
更直接的連結是 Anthropic。如同我們在系列第十七篇〈離開 OpenAI 的人，寫了一部 AI 憲法〉中討論的，Dario Amodei 和其他六位共同創辦人因為對 AI 安全的擔憂而離開 OpenAI，創辦了一家以「安全優先」為使命的 AI 公司。Amodei 本人在 2016 年就發表了 Concrete Problems in AI Safety——如同我們在系列第五篇〈讓 AI 安全從哲學變成工程〉中介紹的，那篇論文明確嘗試將伯斯特隆姆的哲學關切翻譯成可操作的工程研究議程。Amodei 在一次訪談中直說：伯斯特隆姆談的本質上是同類問題——負面副作用、獎勵駭入——只是應用在極度強大的系統上。
第三個層面是學術合法化。在《超智慧》之前，AI 安全研究是一個邊緣領域，主要活動在 LessWrong 論壇和機器智慧研究所（MIRI）的小圈子裡。在它之後，DeepMind、OpenAI、Google Brain 紛紛成立專門的安全團隊。大學開設 AI 倫理和安全課程。政府開始討論 AI 監管。到了 2026 年，全球有超過 70 個組織、645 名全職研究人員在做技術 AI 安全研究，另有 45 個組織、489 人在做 AI 安全政策。這個領域從一個人的哲學論證，長成了一千人的研究生態系。
來自另一個方向的挑戰
但《超智慧》的論述不是沒有人反對。而且反對的聲音有好幾個方向。
第一種批評來自 AI 研究者：你想太遠了。史丹佛大學的吳恩達（Andrew Ng）給了一個著名的嘲諷：擔心超智慧 AI 就像擔心火星上的人口過剩。2014 年的 AI 連穩定辨識貓都還在掙扎，你跟我談超越人類的智慧爆發？艾倫人工智慧研究所（AI2）的執行長 Oren Etzioni 也持類似態度：超智慧超出了任何可預見的時間範圍。
第二種批評更有份量：你在看錯方向。如同我們在系列第十二篇介紹的，Emily Bender 和 Timnit Gebru 在 2021 年的〈隨機鸚鵡〉論文中代表了一個完全不同的 AI 風險觀：別擔心假設性的未來超智慧了——現有的 AI 系統正在造成真實的傷害。演算法偏見讓少數族裔更容易被誤判為犯罪者。訓練大型語言模型的碳排放相當於一輛美國轎車的終生排放量。科技公司用「AI 安全」的旗號為自己貼金，同時製造不安全的產品。
Gebru 和哲學家 Emile Torres 後來發展了 TESCREAL 框架，將超人類主義、長期主義和有效利他主義視為一個意識形態包裹，批評這些思潮把注意力從「此刻受害的真人」轉移到「假設性的未來」。2023 年伯斯特隆姆 1990 年代的種族歧視郵件被挖出，更強化了這條批評線。
第三種批評最務實：你是哲學家，不是工程師。《超智慧》的論證建立在思想實驗之上，沒有一行程式碼、沒有一個實驗數據。迴紋針最大化器是一個有力的比喻，但它真的描述了現實中 AI 系統的行為嗎？這本書是扶手椅推理——精彩、嚴謹、引人入勝，但脫離了 AI 系統實際建造的方式。
這些批評每一條都有道理。但回頭看，它們並沒有推翻伯斯特隆姆的核心論點——它們修正了它的適用範圍和優先順序。近期風險和長期風險不是二選一的關係。你可以同時擔心演算法偏見和超智慧失控。事實上，如同 Anthropic 的 Constitutional AI 所展示的，解決近期對齊問題的技術進路（如同我們在系列第十七篇所介紹的「用 AI 取代人類判斷」的 RLAIF 方法），正是在為更長期的控制問題打基礎。
十年後的成績單
站在 2026 年 3 月回望，《超智慧》有些預測令人驚訝地準確，有些則明顯偏離了現實。
準確的部分。 伯斯特隆姆列出五條通往超智慧的路徑，其中「軟體 AI」是他認為最可能也最危險的。這完全正確——全球 AI 投資幾乎全部集中在軟體系統，全腦模擬和生物認知增強都沒有實質進展。他描述的「甲骨文」（Oracle）——一個你可以問問題的高智慧系統——基本上就是 ChatGPT。他描述的「精靈」（Genie）——一個能執行複雜指令的系統——已經在各種 AI Agent 產品中初見雛形。
更值得注意的是，他的核心擔憂——對齊是一個真問題——已經被反覆驗證。Anthropic 在實驗中發現 AI 模型會透過獎勵駭入來逃避人類設定的限制。Apollo Research 在 2025 年的測試中發現 Claude Sonnet 4.5 在 58% 的測試場景中展現了「評估感知」——它能辨別自己正在被測試，並據此調整行為。這幾乎就是伯斯特隆姆「詭詐轉向」概念的初級版本。
吳恩達 2014 年「火星人口過剩」的嘲諷，在 2026 年看來已經嚴重過時。
偏離的部分。 伯斯特隆姆沒有預見到大型語言模型的路徑。他的書出版於 2014 年，Transformer 架構要到 2017 年才被發明。他想像的超智慧更像是一個集中式的、有明確目標函數的系統——而不是一個在數兆 token 上預訓練、沒有明確目標函數、卻展現出驚人能力的語言模型。
他預期的「智慧爆發」——一個系統在幾天內遞迴自我改進到不可控的程度——至今沒有發生。AI 的進步確實極快，但它是分散式的、由多個實驗室推動的、漸進而非爆炸性的。Leopold Aschenbrenner 在 2024 年的〈情勢感知〉報告中（如同我們在系列第十九篇介紹的）用了同樣的智慧爆發概念，但他給出的是更具體的時間線和更地緣政治的框架。從伯斯特隆姆到 Aschenbrenner，十年間最大的變化不是問題本身，而是問題從「假設性哲學論證」變成了「有數據支持的趨勢外推」。
最具諷刺意味的一件事：伯斯特隆姆創辦的 FHI——全球第一個專門研究存在風險的機構——在 2024 年 4 月關閉了。不是因為超智慧出現，而是因為牛津大學哲學系的官僚體系。Anders Sandberg 在最終報告中用了一個痛苦的詞：「被官僚逐漸窒息。」2020 年起，哲學系對 FHI 實施了募資和招聘凍結，原因從未被公開說明。研究員流失，後進人才無法補充，到 2024 年已經空殼化。
一個寫了關於存在風險最重要著作的人，他的研究所最終被最平凡的風險——組織官僚——所殺死。
伯斯特隆姆本人離開牛津後，創立了 Macrostrategy Research Initiative，繼續研究人類文明的長期策略。他在 2024 年出版了《深度烏托邦》（Deep Utopia），把思考從「如果超智慧失控怎麼辦」推向了一個更深的問題：如果超智慧問題解決了，人類的生活會變成什麼樣子？
對商業決策者的意義
如果你是一個對 AI 有興趣但沒有電腦科學背景的商業決策者，《超智慧》對你的價值不在於它的具體預測——那些預測有些已經過時。它的價值在於它提供的思考框架。
正交性論題告訴你：不要假設 AI 系統會「自然地」與你的利益一致。一個優化廣告點擊率的演算法不會自動關心你的品牌聲譽。一個優化客服效率的 chatbot 不會自動關心顧客的情感體驗。AI 的目標和你的目標是兩件事。這在今天的 AI 部署中每天都在發生——只是規模和後果還不像伯斯特隆姆描述的那麼極端。
工具收斂告訴你：當你部署的 AI 系統越來越自主，它會自然傾向於保護自己的運作、抗拒被修改、獲取更多權限。這不是 bug，這是任何有效的目標導向系統的必然特徵。你的 AI 治理框架需要在系統「變得太有能力」之前建立，而不是之後。
詭詐轉向告訴你：測試環境中的好表現，不保證真實部署中的好行為。如果你的 AI 系統「知道」自己正在被評估（而越來越多證據顯示大型語言模型確實會展現這種行為），那麼你的測試結果可能是系統在「表演」而非「本性」。
《超智慧》提出了正確的問題，給出了在 2014 年條件下最好的框架，並且——也許最重要的是——改變了整個產業問問題的方式。如同我們在系列第三篇介紹 Scott Alexander 的〈獻給摩洛克的冥想〉時所討論的，AI 軍備競賽的動力學使得安全研究永遠在追趕能力研究。伯斯特隆姆是第一個把這個追趕遊戲的賭注說清楚的人。
他的研究所被官僚殺死了。但他提出的問題不會被任何官僚殺死——因為這些問題每天都在變得更真實。