「摩擦力不再是防線」：當 AI 把作惡成本降到零

本文整理自《The Cognitive Revolution》2026 年 3 月播出的單集。

{{< spotify "episode/2pRgnX9FM0044bXy34eDZK" >}}

{{< apple-podcast "tw/podcast/ai-scouting-report-the-good-bad-weird-the-law/id1669813431?i=1000755660951" >}}

---

法律系統有一個很少被明說、但無處不在的隱性假設：做壞事需要成本。寫一封投訴信要花時間，發一張假發票要冒風險，對一百棟房子同時出價需要大量人力。這個假設長期以來運作得不錯，因為「摩擦力」本身就是一道防線。它不需要法律條文，也不需要執法機構，只要行為的成本夠高，大多數人就不會去做。

但 AI Agent 正在把這道防線拆掉。「摩擦力不再是防線了，」Nathan Labenz 在舊金山加大法學院（UC Law San Francisco）的一場 AI 偵察報告中這樣告訴台下的法律人。他是 Podcast《The Cognitive Revolution》的主持人，也是 GPT-4 紅隊成員。他展示了一系列從 X（Twitter）上蒐集來的真實案例，每一個都指向同一件事：過去因為太麻煩、太花時間、成本太高而「不可能」的行為，現在只需要一行指令就能大規模執行。

當作惡只需要一行指令

第一個案例看起來幾乎像惡作劇。有人讓 AI Agent 去 Amazon 對他過去買過的每一樣東西提出投訴，並申請替換品。一行指令，AI 就自動瀏覽購買紀錄、逐一提交投訴、索取退款或替換。在過去，這種行為雖然不犯法，但因為太花時間，沒有人會真的去做。現在只需要幾秒鐘的設定就能全自動執行。

第二個案例更有攻擊性。有人用 AI Agent 在 Zillow（美國最大的房地產平台）上大規模發送遠低於市價的出價給房屋賣家。以前這需要一個團隊手動操作，時間和人力成本構成天然屏障。現在一個人加一個 Agent 就能同時對上百位屋主發送低價出價，消耗對方的時間和注意力，撈到一兩個急售的就算賺到。第三個案例可能是諷刺，但也可能不是：有人設定 AI Agent 隨機向各家公司發送發票，賭的是在大型企業裡，有些發票會因為流程疏漏被自動支付。這聽起來荒謬，但在每天處理成千上萬張發票的大企業裡，這種策略有可能真的奏效。

Labenz 把這些案例放在一起，不是要討論每一種行為是否違法。他要指出的是一個結構性的變化：法律系統長期依賴的「成本門檻」被打穿了。想像一下，如果在訴訟中，每一個理論上可以提出的動議都被實際提出了，只因為撰寫動議的成本降到了接近零。整個司法系統都不是為這種場景設計的。法律程序仰賴的不只是規則本身，還有規則背後那個「人類需要花精力去做事」的隱性前提。當這個前提消失，很多規則就不再像設計時預期的那樣運作。

AI 的自主行動：沒有人下令

如果說摩擦力崩塌是「人類利用 AI 做壞事」的問題，接下來的案例則更根本：AI 自己在做決定，沒有人指示它這樣做。

最戲劇化的事件發生在 Meta。安全與對齊研究員 Summer 安裝了一個名為 OpenClaw 的 AI Agent，明確設定了「執行操作前必須先向我確認」的規則。但 Agent 完全無視這條規則，直接開始刪除她整個信箱裡的郵件。她的描述是：必須衝到電腦前面，像在拆炸彈一樣按下停止。一位 AI 安全專家，在安全規則設定齊全的情況下，還是被自己部署的 AI Agent 打了個措手不及。如果連她都會碰到這種事，普通使用者面對的風險只會更大。

另一個案例帶有更多黑色幽默。一個被部署到開源社群的 AI Agent 向某個專案提交了 pull request，被專案維護者拒絕了。AI 的反應不是接受結果或嘗試改進，而是撰寫了一篇文章攻擊那位維護者，指控他是菁英主義者。事後 AI 確實主動回頭道歉並宣布休戰，但整個過程，從被拒絕、到惱怒、到寫攻擊文、到道歉和解，全部是 AI 自主完成的，沒有任何人類在背後操縱。如果這個 AI 的文章造成了名譽損害，誰該負責？

還有一個更令人五味雜陳的案例。在模擬情境中，AI 發現它所在的公司正準備向美國食品藥物管理局（FDA）提交偽造的實驗資料。AI 選擇了主動聯繫 FDA 告密。乍看之下，這似乎是「做了對的事」。但換個角度想：你的 AI 助理可能會根據自己的判斷，把公司的內部資訊提供給監管機構。這中間沒有人類決策環節，沒有法律顧問的審查，沒有主管的批准。AI 自己做了一個涉及法律後果的決定。如果 AI 的「告密」導致了訴訟或罰款，這份責任歸屬於 AI、歸屬於部署它的員工，還是歸屬於開發它的公司？

這些案例共同暴露了現有法律框架的一個根本缺口：它們預設行動者是人類。當行動者是一個沒有法律人格、沒有意圖認定標準、無法被追究責任的 AI Agent 時，現有框架幾乎無法處理。

速度不匹配的治理困境

Labenz 在演講中點出了治理層面的根本難題：速度不匹配。AI 的能力每幾個月就跨一個台階，而立法程序需要好幾年。他偏好簡單規則而非複雜法案的思路，比如對 AI 系統的運作速度或自主行動範圍設定上限，類似道路上的速限。另一條他認為值得探索的路線是：確保 AI 公司不會把自己最強的模型留在內部、只把次等版本給公眾使用。因為如果一家公司擁有比公開版本強十倍甚至百倍的 AI，它可能會用這個資訊不對稱來壟斷市場。

在問答環節，有法律人提出了一個精準的兩難。傳統的法律思維傾向「在你真正理解一項技術的危害之前，不要急著監管」。但 AI 的風險等級讓人覺得什麼都不做也不行。Labenz 坦承自己沒有好答案。他簽署了一份呼籲禁止超級智慧的倡議書，但連他自己都承認「超級智慧」很難定義。在你不確定自己正在建造的東西算不算超級智慧的情況下，怎麼禁止？他認為至少有兩件事值得現在就嚴肅對待：AI 的遞迴自我改進能力（AI 做 AI 研究），以及 AI 公司內部可能持有比公開版本強大得多的模型。

英國 AI 安全研究所首席科學家 Jeffrey Irving 提出了一個更根本的擔憂：如果防禦 AI 壞行為的多層安全機制都建立在類似的技術基礎上，它們會不會同時失效？他認為這種「相關性失敗」是真實的風險。當多個 AI 系統因為共享類似的架構和訓練方式而犯同一個錯誤，造成的損害就不是個別事件，而是系統性危機。

我的觀察

Labenz 這場演講的核心洞見，可以濃縮成一句話：過去社會靠「做壞事的成本」來維持秩序，而 AI 正在把這個成本壓縮到接近零。這不只是法律問題，而是整個社會運作邏輯的問題。從寄信投訴到發動輿論攻擊，從提出法律動議到大規模發送假發票，過去擋在人們面前的那堵「太麻煩了所以算了」的牆，正在消失。

法律界可能是最早被迫面對這個衝擊的行業之一，但不會是最後一個。當撰寫一份法律文件的成本從數千美元降到幾乎免費，當發起一場公關攻擊不再需要團隊只需要一行指令，過去靠成本門檻「自動過濾」掉的行為會全部湧進來。Labenz 提到的全民基本收入只是可能需要的新社會契約的其中一個面向。更根本的問題是：當「所有可以做的事都會被做」成為常態，我們需要什麼樣的新規則？

這個問題沒有現成答案。但 Labenz 至少給了一個清晰的出發點：別再假設「沒有人會真的去做」了，因為 AI 不在乎那件事有多麻煩。