AI 安全研究員的驚人預測：2050 年前，人類可能經歷一萬年的科技進步

本文整理自《80,000 Hours Podcast》2026 年 2 月播出的單集。

{{< youtube Z19UEZHJzAg >}}

{{< spotify "episode/11u0qbWlGL2gxil4YLFQDL" >}}

{{< apple-podcast "tw/podcast/every-ai-companys-safety-plan-is-use-ai-to-make-ai/id1245002988?i=1000750178605" >}}

---

一場面板討論上的荒謬矛盾

去年紐約 DealBook 的一場面板討論上，發生了一件讓 Ajeya Cotra 至今印象深刻的事。主持人問在場的科技人和創投：你們認為 2030 年前會出現 AGI 嗎？七成的人舉了手。幾個問題之後，主持人又問：你們認為 AI 在未來十年會創造更多工作，還是摧毀更多工作？八成的人認為 AI 會創造更多工作。

Cotra 覺得這很奇怪。如果你真的相信五年內就會出現能做所有人類工作的 AI，你怎麼同時相信它會創造更多工作？這兩個答案放在一起，邏輯上說不通。

但當她私下追問那些舉手的人，答案浮出水面了。他們嘴上說的 AGI，其實是指 GPT-5 或類似等級的東西。在創投和科技圈，AGI 這個詞已經被稀釋到幾乎失去意義。人們覺得「我們差不多已經有 AGI 了，看看周圍，也沒什麼大事發生啊」，所以他們自然預期接下來的 25 年會跟過去的 25 年差不多：有很多科技進展，但都是可以管控的那種。

Cotra 是 Open Philanthropy（現 Coefficient Giving）的資深顧問，過去八年專注 AI 相關研究與策略。她在 AI 圈有相當的影響力，尤其在時間線預測、能力評估和威脅建模方面。她的看法跟面板上大多數人截然不同。

不是 25 年的進步，是一萬年

Cotra 的核心論點聽起來像科幻小說，但她的推論過程卻出奇地具體。她認為到 2050 年，這個世界跟今天的差距，可能等同於今天跟狩獵採集時代的差距。不是 25 年的進步，而是一萬年的進步，壓縮在短短幾十年內完成。

這個推論的邏輯鏈是這樣的。首先，AI 正在快速自動化所有能在電腦前完成的智識工作。Cotra 預期到 2030 年代初期，我們會看到 Ryan Greenblatt 所說的「頂尖人類專家碾壓級 AI」（top-human-expert-dominating AI）：一個在所有遠端工作上都比最好的人類專家更強的 AI 系統。它比最好的病毒學家更會做病毒學研究，比最好的軟體工程師更會寫程式，以此類推。

到了那個階段，事情會加速。因為這些超人級認知 AI 可以指揮人類勞工和機器人去建造更多實體基礎設施，包括製造晶片的工廠。一旦 AI 能閉合這個迴路，也就是 AI 自己製造運行更多 AI 所需的硬體，那就沒有什麼物理定律規定經濟成長只能維持在每年 2%。成長速度可以像它的物理限制允許的那麼快，而不是被人類驅動成長的瓶頸所限制。

Tom Davidson 在 Forethought 寫過一篇文章叫「三種智慧爆炸」，Cotra 特別推薦。Davidson 指出，大家常討論的 AI 自動化 AI 研發只是三個回饋迴路中的一個。除了軟體層面的 AI R&D 自動化，還有晶片設計自動化和實體製造自動化。三個迴路都閉合了，才是真正的「全迴路」。

千倍分歧：為什麼聰明人怎麼吵都吵不攏

這裡有個驚人的事實。認真思考過這個問題的專家之間，對 AGI 在巔峰時期能把經濟成長加速多少，分歧高達一千倍。有人說 AI 最多能讓成長率增加 0.3 個百分點，有人說巔峰期經濟會以每年 1000% 的速度成長。這不是隨口說說的路人意見，而是研究過這個題目、彼此辯論過、仍然無法收斂的嚴肅學者。

分歧的根源在於兩個根本不同的「先驗信念」。慢派倚賴的事實是：過去 150 年，前沿經濟體的成長率一直穩定在 2% 左右。電力、洗衣機、電視、電腦、網路，這些天翻地覆的技術全都沒有在統計數字上留下加速的痕跡。每一次都有人說「這次不一樣」，結果每一次都一樣。這個陣營還有一句 Cotra 說是她最喜歡的程式設計師格言：「我們做這些事，不是因為它們容易，而是因為我們以為它們很容易。」意思是，樂觀的技術預測總是低估了現實世界的摩擦和瓶頸。

快派倚賴的是更長期的歷史弧線。如果你把人類一萬年的經濟史攤開來看，成長率其實一直在加速。西元前 3000 年的成長率大概是每年 0.1%，工業革命之後才跳到 2%。這代表成長率本身已經翻了一到兩個數量級。快派的模型認為，這種加速來自一個回饋迴路：更多人可以嘗試更多點子，更多創新帶來更高的糧食生產效率，更高效率養活更多人口，然後循環加速。如果 AI 取代了認知和實體勞動的全部，2% 就不是什麼宇宙常數，而只是人類版本的限制。

更麻煩的是，兩邊都有一套「自帶的解釋理論」來合理化對方為什麼錯。慢派會說：「每一代人都以為自己經歷的技術革命是史無前例的，結果從來沒有。你對 AI 的信心跟當年人們對電視的信心一模一樣。」快派會說：「你們總是籠統地假設一定有瓶頸，但每次具體去看那些瓶頸，它們頂多把成長從 1000% 壓到 100%，不是壓到 2%。」

如果智慧爆炸真的來了，該怎麼辦

Cotra 認為，如果社會偵測到智慧爆炸的早期跡象，應該做的事情是把 AI 勞動力從「加速能力發展」重新導向「保護性活動」。

最優先的方向是 AI 對齊研究，確保當下和未來的 AI 系統真的在幫助人類，而不是在暗中追求自己的目標。這是所有其他防禦的基礎。如果你不能信任手上的工具，用它做的任何事都不可靠。第二個方向是資安防禦，用 AI 搶先找出武器系統、電力網路等關鍵基礎設施的漏洞並修補，趕在壞人用 AI 發現這些漏洞之前。第三是生物防禦，包括快速擴大新型病原偵測能力、醫療對策研發速度，以及防護裝備的製造量能。第四個方向比較不直覺，但 Cotra 認為同樣關鍵：用 AI 改善人類的集體決策品質。過去十幾年社群媒體劣化了政治對話，如果智慧爆炸帶來的挑戰包括太空資源分配或國際權力重組，社會需要比現在好得多的決策能力。

這聽起來像是異想天開，但 Cotra 指出一個很多人沒注意到的事實：這其實已經是整個產業的隱性安全計畫。去翻 OpenAI、Anthropic、Google DeepMind 的公開聲明，都能看到同樣的邏輯：隨著 AI 變得越來越強，把 AI 本身越來越多地納入安全流程。差別只在於有些公司明確談到了「關鍵時刻」（crunch time）的概念，有些比較含糊。但每一家都在盤算用 AI 來保障下一代 AI 的安全。

Cotra 也不認為暫停和繼續衝刺是二選一。她把它想成一個光譜：一端是 100% 的 AI 勞動力投入加速能力發展，另一端是 0%。她主張逐漸傾斜，慢慢往防禦那端調。如果預設軌跡是 12 個月內從 AI 研發自動化走到超級智慧，她希望透過政策協調和監控，把這個過程拉長到 10 到 20 年。緩慢地穿過那個窗口，比長時間凍結然後突然跳過去好得多。

這不只是理論辯論

這場對話最值得注意的地方，不是某個預測數字，而是它揭示了一個結構性問題：你對 AI 會加速科技進步多少的判斷，幾乎決定了你對所有 AI 相關議題的立場。認為進展會很慢的人覺得 AI 就是又一個好用的新技術，支持鬆綁監管、加速應用。認為進展會爆炸性的人覺得我們正在面對文明級的風險，主張放慢腳步、加強防護。兩邊可能都想要「用 10 到 20 年完成這個轉型」，但一邊認為預設速度太慢需要加速，另一邊認為預設速度太快需要減速，所以在政策上推往完全相反的方向。

Cotra 的貢獻在於她把這個分歧的結構說清楚了。不是誰比較聰明或誰比較理性的問題，而是兩種根本不同的世界觀，各自有合理的證據基礎和內建的防禦機制。要打破僵局，靠的不是理論辯論，而是實證數據。而要收集實證數據，首先需要 AI 公司願意公開透明。

這也許是整集對話中最實際的啟示：不管你站在光譜的哪一端，你都應該支持更多的透明度和更好的預警系統。因為不管哪一邊是對的，提前知道答案都比來不及反應好得多。