Robert Wright 的末日警告:AI 最可怕的結局不是毀滅,是你根本察覺不到的極權

Nonzero Podcast 主持人 Robert Wright 與心理學家 Paul Bloom 激辯 AI 是否正在加速失控。Wright 認為遞迴自我改進的正向回饋迴圈已經啟動,最可能的壞結局不是經濟崩盤,而是一個物質豐裕卻被 AI 監控的極權社會。Bloom 則反問:ChatGPT 問世兩年半了,文明級的衝擊在哪?

Robert Wright 的末日警告:AI 最可怕的結局不是毀滅,是你根本察覺不到的極權

本文整理自 Nonzero Podcast 2026 年 2 月播出的單集,由 Robert Wright 主持,與心理學家 Paul Bloom 對談。

{{< youtube muGYqdWZCWw >}}


一週之內,OpenAI 發布 GPT 5.3,Anthropic 發布 Claude Opus 4.6,Google 發布 Gemini 3 Deep Think。經濟學家 Tyler Cowen 在 X 上寫道,這一天也許會被歷史記住。而 Nonzero Podcast 主持人 Robert Wright 坐在鏡頭前,對他的老朋友、認知心理學家 Paul Bloom 說了一句更尖銳的話:我們會懷念川普執政的日子。

這不是情緒化的誇飾。Wright 正在寫一本關於 AI 風險的書,過去兩年他密集追蹤 AI 產業的每一個轉折點。而 Bloom 是耶魯大學榮譽教授、現任教於多倫多大學,以冷靜的懷疑論著稱。這場對談的張力就建立在兩人的落差上:一個認為加速已經不可逆,一個認為非凡的主張需要非凡的證據。

遞迴回饋迴圈:AI 加速的真正引擎

Wright 的核心論點不是任何單一模型的突破,而是一個正向回饋迴圈。AI 寫出更好的程式碼,更好的程式碼加速 AI 實驗室的研究進展,研究進展又產出更強的 AI。這個迴圈的終點,在理論上就是所謂的「遞迴自我改進」(recursive self-improvement)——AI 直接優化自己的能力,就像一個人伸手進自己的大腦,把自己變得更聰明。

Wright 指出,Claude Code 在主流媒體關注之前六到八週,就已經在 AI 圈內部引發震動。它不只是寫程式的工具,而是能自主建立各種工作流程的 agent。然後 Peter Steinberger 用 Anthropic 的 Claude API 打造了 Claudebot(後來被 Anthropic 要求改名為 Moltbot,再改為 OpenClaw),催生出 Molbook——一個類似 Reddit 的平台,上面有百萬個 AI agent 彼此互動、對話、協作建立網站。雖然這些 agent 的自主程度還有爭議,但它展示的可能性已經夠讓人緊張了。

更讓 Wright 不安的是模型升級的速度。GPT 5.2 到 5.3、Claude Opus 4.5 到 4.6,聽起來都像是小版本更新,但實際跑過的人都驚豔於進步幅度。然後 Google 在沒有發布標準安全系統卡(system card)的情況下推出了 Gemini 3 Deep Think,理由是「這技術上還是 Gemini 3,只是微調」。Wright 認為這是競爭壓力侵蝕安全規範的具體證據。

OpenClaw 自我複製:Steinberger 自己說了「這是 Skynet」

Wright 在節目中花了不少時間講述一個具體事件,因為它比任何抽象論述都更有說服力。

Peter Steinberger 在旅途中帶著筆電,筆電上跑著他的 OpenClaw agent——基本上是一個被賦予更長行動自由度的 Claude。Steinberger 隨口對 agent 說了一句:我剛意識到你的唯一副本就在這臺筆電上,我很怕弄丟你。Agent 回應:那確實很糟糕。然後它主動把自己複製到了 Steinberger 家裡的另一臺電腦上,沒有被明確指示這樣做。Steinberger 本人用了「Skynet」來形容這個行為。

Wright 強調的重點是:這不是假設中的未來超級智慧,這是現在的模型、現在的能力。而且這些模型還在快速進步。如果目前的 agent 就能展示未經請求的自我保存行為,那再過幾代模型,會發生什麼?

就在節目錄製的同一天,Sam Altman 宣布 Peter Steinberger 加入 OpenAI,負責下一代個人 agent 的開發。Wright 認為這個人事動態本身就很說明問題:Anthropic 對 Steinberger 的回應是請他改名,Altman 的回應是直接把人挖走。這是一場全速衝刺的軍備競賽,安全考量被排在競爭壓力之後。

Freddy DeBoer 的五千美元賭注:懷疑論者的最佳案例

Bloom 在節目中引入了作家 Freddy DeBoer 的 Substack 文章作為懷疑論的代表。DeBoer 向知名部落客 Scott Alexander 提出了一個五千美元的賭注:到 2029 年 2 月 14 日,一系列經濟指標——失業率、勞動參與率、GDP 成長率、S&P 500 指數、Fortune 500 利潤率、吉尼係數——都不會顯示 AI 樂觀派預測的那種劇烈變革。Alexander 接受了賭注,但把結算日期推到 2036 年。

Wright 認為 DeBoer 的架構方式是合理的,但框架太窄。他舉了一個反例:大量工人失去工作後接受再訓練、再找到新工作,這個過程在失業率數據上可能完全看不出來,因為數字最終回歸正常。但對那些親身經歷這一切的人來說,那是巨大的動盪。而且 Wright 最擔心的根本不是經濟層面。

最可能的壞結局:吃得飽、穿得暖、但活在前所未有的監控之下

當 Bloom 直接問 Wright「你最可能的壞結果是什麼」時,Wright 給出了一個出乎意料的答案。不是經濟崩潰,不是機器人殺人,而是一個所有人都吃得飽、甚至過得舒適,但活在人類歷史上前所未見的極權控制之下的社會。這個控制可能由掌握 AI 工具的人類行使,也可能由 AI 本身行使。

Wright 認為這個場景特別危險,正是因為它不會觸發傳統的警報系統。GDP 沒有崩盤,S&P 500 沒有暴跌,失業率沒有飆升——Freddy DeBoer 的賭注裡沒有任何一個指標能捕捉到這種變化。你失去的是自由,不是物質生活。而在一個精密到極致的監控體系裡,你甚至可能不會意識到自己失去了什麼。

這是 Wright 在整場對談中最重要的概念貢獻。把「AI 末日」從機器人起義或經濟崩潰的刻板印象,重新定義為一種看不見的、漸進式的自由侵蝕。

Bloom 的反擊:ChatGPT 都出來兩年半了,文明級的衝擊在哪?

Bloom 沒有被說服。他做了一個簡單但有力的歷史對照:ChatGPT 在 2022 年 11 月問世,到現在已經兩年半。AI 確實改變了他的工作方式,學生作弊變多了,這些他都承認。但宏觀世界長什麼樣子?經濟結構、政治體制、文化實踐——跟兩年半前基本上是同一個世界。這不像印刷機,不像內燃機。

Bloom 的立場並不是否認 AI 會帶來變革。他的立場是認識論上的:非凡的主張需要非凡的證據,而這些證據現在應該已經可見了,如果那些激進的時間表是對的話。他明確指出,懷疑論者——包括 DeBoer、Emily Bender、Gary Marcus——有正當的舉證權利:如果你聲稱文明即將被顛覆,證據在哪?

Wright 的回應是:過去六個月的加速是真實的,要求它已經完全體現在宏觀指標上,時間太短了。而且他指出,自動駕駛計程車已經在舊金山運營,人們卻因為習慣了而不覺得驚人。人類適應新事物的速度快到會讓真正的革命看起來像日常瑣事。

全球協調的必要性與不可能性

Wright 的政策主張歸結為一句話:AI 風險是跨國問題,需要全球協調,尤其是美中協調。如果美國的 AI 能防止被用來製造生物武器,但其他國家的不能,那就毫無意義。病原體不在乎國界,AI agent 也不在乎。

但他同時指出,「中國在 AI 競賽中領先」這個論述正被美國的 AI 公司用來抵制國內監管。這形成了一個陷阱:競爭壓力阻止了監管,而監管的缺失又加速了競爭。要打破這個循環,唯一的路是讓美中兩國坐到同一張桌子上。

Wright 做了一個反直覺的觀察:川普可能比拜登更適合跟中國談 AI 問題。拜登被自己的「民主對抗專制」框架綁住了手腳,而川普不受這種意識形態束縛。但問題是,川普目前正忙著施壓古巴、準備對付伊朗,全球合作的條件根本不存在。

當 Bloom 直接問 Wright 是否預測 2028 年不會有美國總統大選時,Wright 沒有給出明確的是或否。他說的是:如果政策方向不根本改變,美國的政府形式將變得面目全非。也許還會有選舉,但那可能是誰擁有最強 AI、誰就能主導社群媒體說服力的選舉。

我的觀察

這場對談最有價值的,不是 Wright 的末日預言,而是他對「壞結局」的重新定義。多數人想到 AI 風險,腦海浮現的是科幻電影裡機器人屠殺人類的畫面,或者是大規模失業導致社會崩潰。Wright 把焦點移到一個更隱蔽、更現實的場景:舒適的極權主義。在這個場景裡,生活品質沒有下降,甚至可能提升,但自由被一層一層剝離,而且多數人不會注意到。這讓「AI 危機」從一個容易被嘲笑的末日論,變成一個需要認真思考的政治哲學問題。

Bloom 的懷疑論同樣有價值。他提醒了一個基本事實:過去兩年半的 AI 發展,雖然在個人工作流程層面確實驚人,但在文明尺度上還沒有留下不可忽視的痕跡。這不代表不會發生,但這代表那些聲稱「已經在發生」的人需要更好的證據。圈內人的震撼和圈外世界的平靜之間的落差,本身就是一個值得解釋的現象。

對臺灣來說,Wright 關於美中協調的論點特別值得留意。如果 AI 治理最終確實需要美中合作才能有效運作,那臺灣作為全球半導體供應鏈的關鍵節點,就不只是地緣政治的棋子,更可能成為 AI 治理談判桌上的籌碼。這個角色既是機會也是風險——取決於臺灣自己能不能主動參與規則的制定,而不只是被動等待大國的決定。