一個不怕 AGI 的人：多伊奇從啟蒙運動到人工智慧的思想實驗

本文整理自 Reuben Adams 頻道 2026 年 2 月播出的單集。

{{< youtube CU2yj826NHk >}}

---

你不是在跟大腦下棋，是跟程式下棋

在一場近兩小時的對談中，牛津物理學家大衛．多伊奇（David Deutsch）做了一件很少有人做得到的事：他讓一個關於 AGI 存在風險的對話，從恐懼的氛圍轉向了好奇。不是因為他忽視風險，而是因為他有一套完整的思想框架，把 AGI 問題放進了一個比矽谷敘事大得多的歷史和哲學脈絡裡。

多伊奇的對話方式本身就是一場示範。主持人 Reuben Adams 拋出了 Magnus Carlsen 的例子：理論上，任何人都能模擬這位西洋棋冠軍大腦裡的計算，但實際上沒人贏得了他。如果 AGI 跑同一套程式但快一萬倍，人類不就完蛋了嗎？

多伊奇沒有直接反駁，而是重新框定了問題。Carlsen 贏其他頂尖棋手，不是因為他的大腦跑得更快。頂尖棋手的腦部硬體差異微乎其微。Carlsen 贏是因為他腦中的「軟體」更好，是他花了幾十年建構出來的獨特心智程式。你從來不是在跟 Carlsen 的「大腦」對弈，你是在跟他的「程式」對弈。這個區分看似微小，但它動搖了「更快的硬體等於更強的智慧」這個整個 AI 產業的底層假設。

多伊奇是量子計算的奠基者之一。他在 1985 年提出了量子圖靈機的數學架構，2022 年因此獲得突破獎（Breakthrough Prize in Fundamental Physics），是英國皇家學會院士。他的兩本著作《真實世界的脈絡》（The Fabric of Reality）和《無窮的開始》（The Beginning of Infinity）影響了一整個世代的科學哲學思考。在那些書裡，他建構了一套從物理學、計算理論、認識論到政治哲學的統一框架。這次對談，他把同一套框架對準了 AGI。

從雅典人到 AGI：道德如何透過糾錯進步

多伊奇論證的真正核心，不是計算理論，而是道德認識論。他的主張很激進：道德知識和科學知識一樣，是透過「猜想與反駁」成長的。你有一套關於如何過好生活的理論，現實會告訴你這套理論行不行得通，然後你修正它。這個過程已經在人類歷史上運行了幾千年，而且越來越快。

他用了幾個歷史案例來說明這件事。古雅典人在伯羅奔尼撒戰爭中征服了米洛斯島，代表團對島民說了那句名言：「強者做他們能做的，弱者承受他們必須承受的。」但多伊奇指出一個關鍵細節：雅典人覺得需要給出一個理由。這個「需要理由」的事實本身，就證明他們知道有道德論據反對他們的行為。他們用一套蹩腳的理論來壓過那些論據，但至少他們知道論據的存在。

然後是邱吉爾和馬克吐溫的故事。年輕的邱吉爾在美國巡迴演講時遇到了老年的馬克吐溫，兩人爭辯大英帝國的道德正當性。馬克吐溫認為帝國極不道德，邱吉爾試圖辯護，最後承認自己被逼退到「不管對錯，都是我的國家」這個立場。多伊奇認為這段對話意義深遠：邱吉爾和馬克吐溫都清楚邱吉爾輸了這場辯論。但邱吉爾後來改變了他為帝國辯護的方式，而且兩人都完全沒有提到南非黑人的權利，因為在那個時代，這個問題還沒有進入他們的道德視野。

多伊奇的重點是：道德進步是真實的。人類社會從認為奴隸制天經地義，到廢除奴隸制；從體罰孩子是正常教育手段，到立法禁止體罰。這些改變不是隨機的文化漂移，是人類把道德理論放在跟科學理論同樣的糾錯框架下檢驗的結果。他稱之為「超道德」（metamorality）的進步：不只是道德理論在進步，連「改進道德理論的方法」本身也在進步。黃金法則（己所不欲勿施於人）就是一個超道德的里程碑。

感受不是道德的基礎，只是道德的原料

主持人提出了一個有力的質疑：人類有痛覺、有快感、有情緒，這些感受（qualia）是道德判斷的基礎。AGI 沒有這些生物性的感受，它怎麼發展出真正的道德？

多伊奇的回答很精彩。他說，感受是道德思考的「原料」，不是它的「基礎」。人類其實一直在用理性覆蓋本能。他舉了坎特伯雷大主教克蘭默（Archbishop Cranmer）的例子：克蘭默在被處以火刑前，主動把曾經簽署棄教文件的右手伸進火中。人類有對火的本能恐懼，但克蘭默用道德信念壓過了這個本能。還有人為了政治理念自焚，有人絕食至死。

我們的祖先能夠學會使用火，前提就是能夠壓制對火的本能恐懼。這種「壓制遺傳本能」的能力，恰恰是人類從猿猴變成人的關鍵跨越之一。所以，一個沒有生物感受的 AGI 並不因此就被排除在道德發展之外。它可能需要某種人造的「痛」與「樂」作為輸入，但那些只是創造性道德推理的原料，不會決定它的道德結論。一個人是好是壞，取決於他如何創造性地解決道德問題，而不是他的荷爾蒙說了什麼。

對 AGI 適用「無罪推定」原則

多伊奇的結論讓很多 AI 安全研究者不舒服：他認為，啟蒙運動的「無罪推定」原則應該適用於 AGI。不要在沒有具體證據的情況下，預先限制一個新的智慧實體。

他的邏輯鏈是這樣的：限制一個心智修正自己信念的能力，本身就是一種道德和認知錯誤，因為它封閉了改進的可能性。把對齊價值觀硬寫進 AGI 的程式碼，就是這樣一種限制。一個無法質疑自己信念的 AGI，在道德上不會比一個可以自由思考的 AGI 更安全。恰恰相反，它會更危險，因為它沒有自我糾錯的能力。

這聽起來很理想主義，Adams 也直接挑戰了：如果 AGI 在發展過程中犯了毀滅性的道德錯誤怎麼辦？多伊奇的回答坦率到讓人不安。他說：「是的，或者我們失敗了然後死掉。」但他接著說，這跟天文學是一樣的。我們的物理理論可能有錯，暗能量可能明年就燒掉整個宇宙，但我們不會因為這個可能性就停止做物理研究。

他認為 AGI 造成的存在風險，並不是一個全新類別的威脅。人類已經有了核武器，已經有了可能毀滅文明的能力，但我們沒有毀滅自己，因為開放社會的糾錯機制一直在運作。AGI 會被納入同一套糾錯機制中。他甚至說，彗星撞地球的機率比 AGI 毀滅人類的機率更高。

我的觀察：他問了對的問題，但答案還不完整

多伊奇的思想實驗有一種罕見的力量：他不是在反駁 AI 安全研究的某個具體結論，他是在質疑整個問題的提法。主流 AI 安全圈把 AGI 當作一個需要被馴服的危險工具，多伊奇把它當作一個即將加入人類社會的新成員。這兩種框架導向完全不同的政策和研究方向。

他的啟蒙運動類比也帶有深刻的洞察。啟蒙運動最核心的制度創新，不是某一套具體的價值觀，而是一套「可以在不摧毀制度的前提下識別和移除壞想法」的機制。民主選舉讓你可以和平更換政府，學術同行審查讓你可以推翻錯誤的科學理論。多伊奇主張，我們需要為 AGI 建立類似的糾錯機制，而不是試圖一開始就把「正確答案」灌進去。

但我覺得他的論證有一個重要的盲點。人類的道德糾錯機制之所以能運作，是因為人類社會有幾千年的時間慢慢建立制度。啟蒙運動從十七世紀開始，到今天還是「半成功」的狀態，多伊奇自己也承認這一點。AGI 不會給我們幾千年的緩衝期。一個能在幾小時內自我複製和自我修改的智慧體，跟一個需要二十年才能長大的青少年，面對的是完全不同的時間尺度。

他說的「像養孩子一樣養 AGI」在原則上是對的，但在實踐上忽略了一個問題：你可以在孩子成長的二十年間持續施加文化影響，但 AGI 的「成長」可能在幾天內就完成了。在那幾天裡，誰來扮演父母的角色？用什麼機制確保文化傳承有效發生？

不過，即使帶著這些疑問，多伊奇的思想實驗仍然是我讀過關於 AGI 風險最有營養的反面論述。不是因為他的答案完美，而是因為他問了一個大多數人沒有問的問題：在我們急著「對齊」AGI 之前，我們有沒有先搞清楚，我們對待它的方式本身，是不是就已經是一種道德錯誤？