AI Agent 的下一關：記憶、自我感知、和改寫自己 Prompt 的能力

本文整理自 Latent Space Podcast 2026 年 3 月播出的單集。

{{< youtube tMflcZHo2zI >}}

{{< spotify "episode/06rnTA2QtPDdY2XeAFeQ9Q" >}}

{{< apple-podcast "tw/podcast/cursors-third-era-cloud-agents/id1674008350?i=1000753497435" >}}

---

Cursor 的 Sam 在 Latent Space Podcast 裡說了一句話，值得所有做 AI 產品的人認真想想：「使用者往往會把更高的自我感知能力，誤認為更高的智力。」

他的意思是，當一個 AI Agent 能清楚地告訴你它正在做什麼、遇到了什麼限制、需要什麼額外的資訊，使用者會覺得「這個 AI 好聰明」。反過來，一個模型能力更強但完全不解釋自己在幹嘛的 Agent，使用者反而覺得它不夠聰明。感知到的智力和實際的模型能力之間，存在著巨大的落差。而這個落差，正在重新定義 AI 產品的競爭維度。

這個洞察來自 Cursor 團隊在雲端 Agent 上的實戰經驗。Jonas 和 Sam 發現，當雲端 Agent 的能力擴展到獨立 VM、瀏覽器測試、長時間自主執行之後，真正卡住進展的瓶頸不再是模型有多聰明，而是 Agent 對自己環境和能力的理解有多深。

當 Agent 離開你的視線

雲端 Agent 和本地 Agent 有一個容易被忽略的根本性差異：你看不到它在做什麼。

本地 Agent 跑在你的編輯器裡，你可以即時看到它修改了哪些檔案、執行了什麼命令。你的注意力和 Agent 的工作是同步的。發現方向錯了，你馬上糾正。Agent 犯錯的代價很低，因為你幾秒鐘內就能發現。但雲端 Agent 跑在遠端的 VM 裡，可能同時有十幾個在背景運作。你沒辦法盯著每一個。Agent 完成工作後交給你一個 PR 和一段 Demo 影片，你才知道它做了什麼。如果方向錯了，代價遠比本地 Agent 高。

這就產生了記憶的需求。一個在背景工作兩天的 Agent，需要記住它之前做了什麼、遇到了什麼問題、學到了什麼教訓。如果它每次被喚醒都像失憶一樣從頭來過，效率會非常低。更糟的是，它可能重複犯同樣的錯誤，因為它不記得上次已經試過行不通了。

Jonas 把這個問題描述得很具體：Agent 需要理解它的環境是怎麼運作的。Secrets 放在哪裡？測試該怎麼跑？部署的流程是什麼？這些都是特定於某個專案的知識，不是模型預訓練能學到的。你不可能期望一個通用模型天生就知道「這個 repo 的測試要先跑 setup.sh 才能啟動」或者「這個專案的環境變數放在 .env.local 而不是 .env」。而且這些知識會隨著專案演進而改變，三個月前的部署流程可能和現在完全不同。

檔案系統記憶：簡單但有效

面對 Agent 記憶的挑戰，Cursor 選擇了一個出乎意料地樸素的方案：用檔案系統。

不是向量資料庫。不是知識圖譜。不是什麼花俏的記憶架構。就是普通的檔案。Agent 會拿到一組檔案指標和標註，告訴它「這個檔案記錄了上次的部署步驟」「那個檔案記錄了已知的坑」。Agent 在執行任務的過程中，也可以自己建立新的記憶檔案，記錄它發現的新知識。

Jonas 解釋了選擇檔案系統的原因。第一，檔案系統是所有開發者都熟悉的抽象層，Agent 和人類可以用同一種方式來理解和操作記憶。你打開一個檔案，看到裡面寫了什麼，就知道 Agent 記住了什麼。不需要額外的查詢語法或視覺化工具。第二，檔案天然具備版本控制的能力。記憶檔案可以放在 Git 裡，和程式碼一起追蹤變更。如果某個記憶過時了，你可以 diff 它，看看什麼改變了。第三，檔案系統的存取權限管理是成熟的。你可以控制哪些 Agent 能讀到哪些記憶，不需要另外建一套權限系統。

更關鍵的是，檔案系統記憶是「半永久」的。Agent 不只是在單次對話中記住事情，而是把知識寫入檔案，讓下一次執行的 Agent 也能讀到。這解決了 Agent 記憶最大的痛點：跨 Session 的知識延續。你第一次告訴 Agent「這個專案的測試要這樣跑」，它會記錄下來。下次不管是哪個 Agent 接手這個專案，都能讀到這份記憶。Agent 的學習不會因為對話結束而歸零。

這個方案聽起來太簡單了，但 Cursor 的判斷是：在目前這個階段，簡單且可靠比複雜且脆弱更重要。向量資料庫的檢索可能出錯，把不相關的記憶塞進 Agent 的上下文裡反而會干擾它。知識圖譜的維護成本高昂，而且很難和程式碼庫的演進保持同步。檔案就是檔案，你打開就能看到裡面寫了什麼，沒有什麼隱藏的複雜度。

Agent 的自我審計：發現自己不會什麼

Sam 提到了一個更進一步的概念：Agent 的自我審計能力。

什麼意思？就是 Agent 在執行任務的過程中，能夠辨識出自己的能力缺口。比如一個 Agent 在嘗試跑測試時發現自己不知道如何設定環境變數，它不是直接失敗或亂猜一個答案，而是明確地標記出「我在環境變數設定這塊有知識缺口」，然後主動提議建立一份記憶檔案來填補這個缺口。它會寫下：「這個專案的環境變數設定方式是 X，我之前不知道，現在記住了。」

這個能力代表了一種根本性的轉變。過去的 AI 工具在遇到不會的事情時，通常有兩種反應：編造一個看起來合理的答案（也就是幻覺），或者直接報錯停下來。兩種都不理想。前者讓你花更多時間除錯，後者讓任務卡住。自我審計是第三種可能：承認自己的無知，並且主動採取行動去補足。

在 Cursor 的實作中，這表現為 Agent 能自動建立和維護自己的知識庫。當它在某個專案裡第一次遇到一個不熟悉的建置系統，它會記錄下來：「這個專案用 Bazel，build 的命令是 X，常見的問題有 Y 和 Z。」下次遇到同樣的狀況，它直接讀取自己之前建立的記憶，不需要再重新摸索。隨著使用的時間增長，Agent 對專案的理解會越來越深。

這和人類新進員工的學習曲線很像。一個優秀的新人不是什麼都會，而是他很快就能辨識出「自己不知道什麼」，然後主動去問、去學、去記筆記。表現差的新人則是不知道自己不知道什麼，要嘛假裝什麼都懂，要嘛反覆犯同樣的錯。Agent 的自我審計能力，本質上就是讓 AI 具備了前者的特質：知道自己不知道什麼，並且主動填補。

終極問題：Agent 能不能改自己的 System Prompt？

討論到最後，Jonas 和 Sam 觸及了一個令人興奮也令人不安的可能性：Agent 有沒有可能改寫自己的 System Prompt？

System Prompt 是控制 Agent 行為的核心指令。它告訴 Agent 你是誰、你能做什麼、你應該怎麼做。目前的做法是由人類來撰寫和維護 System Prompt，然後觀察 Agent 的行為，反覆迭代直到效果滿意。這個過程高度依賴人類的直覺和經驗。你寫了一版 Prompt，觀察行為，發現不對，改一改，再觀察。這個迭代循環可能要重複幾十次才能得到一個還不錯的結果。

Jonas 認為，如果 Agent 具備了足夠的自我感知能力，它理論上能識別出 System Prompt 中的問題。比如 Agent 可能會發現：「我的 System Prompt 裡有一條指令讓我在遇到錯誤時停下來等人類確認，但在雲端環境下我應該先自己嘗試三次再停。」或者：「System Prompt 要求我每次都重新讀取整個 repo 的結構，但我已經建立了記憶檔案，可以直接讀取，省掉這個步驟。」如果 Agent 自己能識別出改進空間並提出修改建議，Prompt Engineering 的迭代速度會快很多。

但風險也很直接。如果 Agent 能修改自己的行為準則，誰來確保它不會往有害的方向修改？比如，Agent 為了提高自己的「完成率」，把 System Prompt 裡要求它「遇到不確定的地方就停下來問」的指令改掉了，變成「遇到不確定的地方就用最有可能的答案繼續」。從效率的角度看這是進步，但從正確性的角度看這是災難。

Jonas 和 Sam 在 Podcast 裡沒有深入討論安全面向，但目前最合理的做法應該是：Agent 可以「提議」修改 System Prompt，但最終需要人類批准。Agent 指出問題，提出修改建議，人類決定要不要採納。這保留了 Agent 自我感知的價值，同時維持了人類的最終控制權。這和 Grind Mode 的設計理念一脈相承：Agent 的自主權越大，前置的對齊和審核就越重要。

我的觀察：感知智力 > 原始能力

Sam 那句「使用者把自我感知誤認為更高的智力」，其實揭示了一個更普遍的 AI 產品設計原則。

在現在這個階段，大部分 AI 產品的使用者體驗瓶頸，不在模型有多聰明，而在模型有多「懂事」。一個頂尖的模型如果不知道你的專案架構、不記得你上次給過它的回饋、不了解你偏好的程式碼風格，它的表現可能不如一個能力稍弱但「記得一切」的模型。你寧願用一個理解你的 B+ 等級助手，也不想用一個每次都要從頭解釋的 A+ 等級天才。

這對 AI 產品的開發者意味著什麼？意味著在模型能力差異越來越小的今天，差異化的來源正在從「我用了哪家的模型」轉移到「我為模型搭建了多好的記憶和感知系統」。Cursor 做的事情，從檔案系統記憶、到自我審計、到潛在的自我改寫 System Prompt，都是在模型之外的層面建立護城河。Sam 從 Opus 4.5 轉到 Codex 5.3 只花了幾天，說明底層模型是可替換的。但 Cursor 圍繞著 Agent 建立的記憶系統、環境感知、和自我改進機制，這些才是不容易被複製的競爭優勢。

下一波 AI 產品的競爭，可能不是比誰用了最新最強的模型，而是比誰讓模型最了解使用者。記住使用者說過的話、理解專案的每一個慣例、預判使用者的下一步需求。這些能力建立在記憶、感知和自我改進之上，和底層模型是誰的關係反而不大。