AI 的《記憶拼圖》困境：為什麼你的 AI 助手永遠學不會新東西？

本文整理自《AI + a16z》2026 年 4 月播出的單集。

{{< apple-podcast "tw/podcast/why-we-need-continual-learning/id1740178076?i=1000764007235" >}}

---

你的 AI 助手其實是個失憶症患者

你有沒有這種經驗：跟 ChatGPT 聊了三個月的專案，換一個對話視窗，它就什麼都不記得了。你跟它說過你偏好什麼程式風格、你的公司在做什麼產品、上次那個 bug 怎麼解的，全部歸零。你以為它在「學習」，但其實它只是在當下的對話裡假裝記得你。對話一結束，一切煙消雲散。

這是當前所有大型語言模型共有的根本架構限制。a16z AI 基礎設施團隊合夥人 Malika Aubakirova 最近發表了一篇深度分析，用一個絕妙的比喻點破了這個問題的本質：現在的 AI 模型，活得就像諾蘭電影《記憶拼圖》（Memento）裡的主角 Leonard Shelby。

等等，讓我先解釋一下這部電影，因為這個比喻實在太精準了。

便條紙、拍立得、還有刺青

《記憶拼圖》的主角 Leonard Shelby 患有一種罕見的失憶症，他無法形成新的長期記憶。每天醒來，他只記得受傷前的人生，之後發生的一切都會消失。為了在這種狀態下生存，他發展出一套外部記憶系統：隨身帶著拍立得相機拍下重要的人和地點、在便條紙上寫下關鍵資訊、甚至把最重要的線索直接刺在身上，確保怎樣都不會忘記。

Aubakirova 指出，這跟我們現在對待 AI 模型的方式幾乎一模一樣。模型有一個「預訓練」階段，在這個階段裡它吸收了大量的世界知識。但預訓練結束之後，模型就被「凍結」了，它的內部參數不再改變。從這個時間點開始，模型就像失憶的 Leonard 一樣，被部署到真實世界中，卻無法從新的經驗中學習任何東西。

那我們怎麼讓一個「凍結」的模型看起來好像很聰明？答案是：我們幫它搭建了大量的外部鷹架。RAG（檢索增強生成）就是它的便條紙，負責在需要的時候從外部資料庫撈取資訊。System Prompt 就是它的刺青，把最重要的指令直接刻在每次對話的開頭。Agent 框架就是它的拍立得，幫它在執行任務的過程中暫時記住上下文。這些工具確實有效，但它們本質上都是在繞過一個根本問題：模型本身沒有在學習。

In-context Learning 的天花板在哪裡？

你可能會想：這些外掛不是用得好好的嗎？Cursor 靠著讀取你的整個程式碼庫就能寫出很棒的程式碼，Claude 靠著長上下文就能處理複雜任務。為什麼非要更新模型的「大腦」不可？

Aubakirova 承認，in-context learning（上下文學習）確實非常強大，任何關於持續學習的誠實討論都必須先承認這一點。但她提出了兩個具體場景，說明光靠上下文為什麼不夠。

第一個場景是對抗式攻擊。假設有人發現了一種新的 jailbreak 手法，可以讓你部署的模型吐出不該說的內容。你的第一反應可能是更新 System Prompt，加一條「遇到這種攻擊時不要回應」。但問題是，模型的核心參數已經學會了「對使用者有幫助」這個目標，這個目標寫進了它的權重裡。攻擊者能看到你的上下文，跟任何普通使用者一樣，他們可以設計方法繞過你的 System Prompt。你真正需要做的是把防禦知識編碼進模型的權重中，那是攻擊者碰不到的地方。

第二個場景是軟體生態的演化。假設你最愛用的 JavaScript 框架 React 發布了一個破壞性更新，把某個函式從 x 改名成了 y。模型在預訓練階段讀了成千上萬個使用 x 的程式碼範例，這個「直覺」已經寫進了它的參數裡。你可以在上下文裡反覆告訴它「現在要用 y 了」，但模型的本能反應還是會傾向用 x。因為上下文只能覆蓋模型的表層行為，無法改變它深層的「肌肉記憶」。

壓縮光譜：從便條紙到腦神經改造

Aubakirova 在文章中提出了一個清晰的框架，把所有的「學習」機制放在一個光譜上，她稱之為「壓縮」（compaction）。這個框架分成三層，代表資訊被整合進模型的不同深度。

第一層是「上下文」，也就是非參數化學習。這是我們今天最熟悉的做法：RAG、Agent 記憶、System Prompt。模型的權重完全不動，所有新資訊都透過上下文視窗餵進去。這層的主要限制很直觀：上下文長度是有限的，你塞不下全世界的知識。Pinecone 這類向量資料庫、各種 Agent 記憶框架，本質上都在解決同一個問題：如何在有限的上下文裡塞進最相關的資訊。

第二層是「模組」，介於上下文和權重之間的中間地帶。史丹佛大學有一篇叫做「Cartridges」的論文，探索的就是這個方向：你不更新整個模型的權重，但可以更新 KV Cache 這類中間組件，讓模型獲得某種程度的適應性。這就像是不做全腦手術，而是植入一個可以隨時更換的記憶晶片。

第三層是「權重」，也就是真正的參數化學習。這是持續學習研究的最前沿，也是最困難的部分。你要直接修改模型的內部參數，讓它真正「學會」新東西，而不只是暫時「看到」新東西。目前的研究方向分成兩大陣營：一派認為可以在現有的 Transformer 架構上發展更高效的權重更新方法（比如 LoRD、自我蒸餾），另一派則認為 Transformer 本身就是瓶頸，我們需要全新的架構才能實現真正的持續學習。

費馬最後定理告訴我們的事

要理解「持續學習」為什麼不只是工程問題，而是 AI 的下一個根本突破，Aubakirova 舉了一個數學史上的經典案例。

費馬最後定理（Fermat's Last Theorem）是一個困擾數學界超過 350 年的問題。所有相關的文獻、研究論文、數學工具，對每一位數學家來說都是公開可得的。但沒有人能解開它，直到安德魯．懷爾斯（Andrew Wiles）獨自閉關七年，發明了全新的數學技巧，把兩個原本不相干的數學分支（橢圓曲線和模形式）連接起來。

這個故事的啟示是：真正的突破性發現，不是把所有已知資訊彙整起來就能得到的。懷爾斯靠的不是更多的「預訓練資料」，他是在持續思考的過程中，產生出全新的知識。如果我們希望 AI 也能做到類似的事，光是給它更大的上下文視窗、更好的搜尋引擎是不夠的。我們需要讓模型本身具備從經驗中「長出」新知識的能力。

重新定義「模型」這件事

Aubakirova 引用了 Ilya Sutskever 最近的一段話：「關於 AGI，我們幾乎把目標定得太高了。人類不是 AGI，但人類會從經驗中學習，會在工作中進步。這才是讓人類獨特的地方。」

這段話把問題拉回了一個很務實的層次。持續學習的終極檢驗其實很簡單：你的 AI 系統用了三個月之後，有沒有比剛部署時更好用？它有沒有從你的回饋中學到東西、從犯的錯誤中改進、從新遇到的情境中成長？

目前，柏克萊和其他頂尖實驗室正在開發新的基準測試，試圖定義「持續學習」的具體衡量標準。早期的研究方向，像是 test-time training（測試時訓練），已經展現出一些令人興奮的跡象：模型在面對從未見過的問題時，能夠即時調整自身的架構來應對。這還只是雛形，但方向已經很清楚了。

我們需要的不是更聰明的便條紙系統，而是一個能真正「活著」的 AI，一個不再被困在永恆當下的系統。《記憶拼圖》的主角最終沒有治好他的失憶症，但 AI 研究者不打算接受這個結局。