Karpathy:最強 AI 能找零日漏洞,卻叫你走路去洗車
為什麼最先進的 AI 模型能重構十萬行程式碼,卻會建議你步行 50 公尺去洗車?Andrej Karpathy 在 Sequoia AI Ascent 2026 提出「可驗證性框架」,解釋 AI 能力不均勻的根本原因:LLM 自動化的不是你能指定的任務,而是你能驗證結果的任務。這個框架也揭示了創業者的機會所在。

本文整理自 Sequoia Capital《AI Ascent 2026》2026 年 4 月播出的單集。
{{< youtube 96jN2OCOfLs >}}
{{< apple-podcast "tw/podcast/andrej-karpathy-at-sequoia-ai-ascent-2026-from-vibe/id1799918505?i=1000765806763" >}}

走路去洗車的最強 AI
想像一個場景:你家 50 公尺外有一間洗車場,你問目前最頂尖的 AI 模型,該開車還是走路?Opus 4.7 會告訴你:走路吧,反正很近。但你是要去洗車。你不開車過去,洗什麼?
OpenAI 共同創辦人、前 Tesla AI 總監 Andrej Karpathy 在 Sequoia Capital 的 AI Ascent 2026 活動上提出這個例子時,台下一片笑聲。但他隨即把話導向一個嚴肅的方向:同一個模型,能夠重構十萬行程式碼,能找出零日安全漏洞,卻在一個小學生都能答對的常識問題上翻車。這不是偶然的 bug,也不是模型「還不夠聰明」,而是一個深層的結構性問題。
Karpathy 認為,理解這個問題,是每一個想在 AI 時代有效工作的人都必須做的功課。你不能把 AI 當成一個均勻的黑盒子來用。你得知道它在哪裡強、在哪裡弱,以及為什麼會這樣。否則你會不斷被它的盲點絆倒,卻搞不懂到底發生了什麼事。
傳統電腦自動化你能指定的,LLM 自動化你能驗證的
Karpathy 提出了一個精煉的框架來解釋 AI 能力不均勻的現象。傳統的電腦程式,能自動化的是那些你可以用程式碼精確指定的任務。你寫一個函式,告訴電腦「把這些數字加起來」,它就照做。規則越清楚,執行越可靠。但 LLM 的運作邏輯完全不同。LLM 能自動化的,是那些你可以「驗證」結果的任務。
為什麼?因為當前最強的模型是用大規模強化學習(RL)訓練出來的。RL 的核心機制是:給模型一個問題,讓它嘗試回答,然後用驗證機制判斷答案對不對,再根據結果給予獎勵或懲罰。數學和程式碼是最容易驗證的領域。數學有確定的正確答案,程式碼可以跑測試來確認功能是否正確。所以這些領域的模型能力就衝得特別高。但像「該開車還是走路去洗車」這種常識推理,沒有標準化的驗證環境,也不在實驗室重點投入的 RL 訓練範圍內,結果就是模型在這類問題上停滯不前。
Karpathy 把這種現象稱為「鋸齒型智能」(jagged intelligence)。LLM 的能力分布不是平滑的曲線,而是一把鋸齒:在某些領域尖銳地突出,在另一些領域卻意外地平庸。如果你的應用正好落在那些被 RL 訓練覆蓋到的「電路」裡,體驗會像在飛。但如果你跑到了訓練資料分布之外,你會覺得自己在跟一個什麼都搞不懂的系統搏鬥。關鍵在於搞清楚你到底在模型的哪條電路裡。
西洋棋的啟示:能力提升不一定是因為模型變聰明
Karpathy 舉了一個讓人重新思考假設的例子。從 GPT-3.5 到 GPT-4,很多人注意到模型下西洋棋的能力大幅提升。直覺反應是:模型的推理能力進步了,所以棋力跟著好了。但 Karpathy 指出真相更微妙。當時有人在 OpenAI 的預訓練資料集裡加入了大量的西洋棋棋譜。所以棋力的提升主要不是因為推理能力的根本性突破,而是因為訓練資料裡多了大量的棋局資料。
這個例子揭示了一個容易被忽略的事實:模型的能力分布,某種程度上是由實驗室選擇放什麼資料進去來決定的。如果某個 AI 實驗室的研究員決定在下一輪訓練中特別投入某個領域的資料或 RL 環境,那個領域的模型能力就會突然飆升。反之,沒人關注的領域,能力就原地踏步。Karpathy 的用詞很直白:我們某種程度上是「受制於實驗室碰巧決定做什麼」。
這帶來的實際意義是:你不能光看基準測試分數就決定模型適不適合你的場景。基準測試衡量的是那些實驗室刻意投入的領域,但你的應用場景可能完全不在那個範圍內。你必須自己去測試、去探索,搞清楚模型在你的具體任務裡到底表現如何。如果測試結果不理想,也不要就此斷定「AI 還不行」。更可能的情況是,你碰巧落在了鋸齒的低谷。解法不是等下一代模型,而是考慮用自己的資料做微調。
創業者的機會在哪裡
Sequoia 的合夥人 Stephanie Zhan 追問:面對 OpenAI、Anthropic、Google 這些大型實驗室在數學和程式碼等領域已經取得「逃逸速度」,創業者還能做什麼?Karpathy 的回答帶著一種壓抑的興奮。他認為可驗證性的框架恰恰指出了機會所在。
邏輯是這樣的:只要你身處一個結果可以被自動驗證的領域,你就可以建立自己的 RL 訓練環境。大型實驗室不可能覆蓋所有有價值的可驗證領域,因為他們的精力集中在那幾個最顯眼的方向上。如果你有某個特定領域的高品質資料集和驗證機制,你可以用開源的微調框架去「拉那根槓桿」,在你的利基市場做出遠超通用模型的表現。Karpathy 暗示他心中有一個這樣的領域,但刻意沒說穿,因為他認為那是真正的創業機會。
不過他也提醒了另一面。有些任務從遠處看似乎很容易自動化,但真正進去做才發現驗證機制很難建立。你能不能確實判斷 AI 的輸出是好的?如果不能,那 RL 這根槓桿就拉不動。所以他給創業者的建議是雙向的:一方面積極尋找那些有經濟價值、可以自動驗證、但還沒被大實驗室覆蓋的領域。另一方面,誠實評估你能不能真正建立起有效的驗證機制。兩個條件缺一不可。
幾乎一切都可以被自動化,問題是先後順序
當主持人追問「什麼東西是看起來可以自動化但其實還不行的」,Karpathy 的回答很乾脆:「幾乎所有東西,最終都可以被自動化。」就連寫作這種看似主觀的任務,也可以想像用一群 LLM 組成的評審團來驗證品質,大概也能得到不差的結果。所以真正的問題是「什麼時候」,不是「能不能」。
鋸齒型智能意味著,不同領域的自動化不會同步發生。有些領域已經在飛了。程式碼生成、數學推理、法律文件分析,這些領域的 RL 環境成熟,驗證機制明確,模型能力衝在最前面。但另一些領域還在地上爬:常識推理、美學判斷、系統架構設計、程式碼的簡潔優雅。這些領域要嘛缺乏有效的驗證機制,要嘛根本不在實驗室的優先清單上。
所以開發者和創業者真正的功課,不是預測「AI 最終能做什麼」。那個答案 Karpathy 已經給了:幾乎所有東西。真正該問的問題是:在此刻,AI 在我的具體應用場景裡,到底落在鋸齒的哪個位置?答對這個問題的人,會找到槓桿點,用 AI 做出以前做不到的事。答錯的人,會一直在跟 AI 的盲點搏鬥,覺得這東西怎麼這麼不好用。鋸齒不會消失,但鋸齒的形狀會隨著實驗室的投入方向持續改變。跟上這個變化,本身就是一種核心能力。