AI 記憶體短缺危機：HBM 吃掉 DRAM 產能，價格恐再翻倍

本文整理自 Latent Space Podcast 2026 年 2 月播出的單集。

{{< youtube x9rWFiIubmc >}}

{{< spotify "episode/3vpT6bQejaT6CAEAlFjioU" >}}

{{< apple-podcast "tw/podcast/latent-space-the-ai-engineer-podcast/id1674008350?i=1000751255394" >}}

---

你的下一支手機可能因為 AI 而變貴

如果你最近買電腦、手機或伺服器，可能已經注意到記憶體價格在漲。這不是正常的市場波動。半導體研究機構 SemiAnalysis 的分析指出，全球正在經歷一場結構性的 DRAM 記憶體短缺，而且這場短缺至少還要持續兩年。推動這一切的核心力量，是 AI。

SemiAnalysis 總裁 Doug O'Laughlin 在 Latent Space Podcast 上拆解了這場危機的機制。他的分析直指一個很多人還沒意識到的問題：AI 對記憶體的需求，不只是「多用一些」的問題，而是一個以倍數吞噬產能的連鎖反應。搞懂這個機制，才能理解接下來兩年科技產業會怎麼走。

HBM 的「吃掉效應」：每 1 單位消滅 3-4 單位

要理解這場短缺，得先理解 HBM（High Bandwidth Memory，高頻寬記憶體）是什麼。HBM 是一種特殊的堆疊式記憶體，專門用在 NVIDIA GPU、Google TPU 這類 AI 加速器晶片上。它的頻寬比一般的 DDR5 記憶體高出數倍，是 AI 模型訓練和推論不可或缺的元件。

問題在於，HBM 和你電腦裡用的普通 DRAM 是用同樣的晶圓產線製造的。但 HBM 需要的製程更複雜，同一片晶圓能產出的記憶體容量遠低於常規 DRAM。根據 TrendForce 的數據，每 1GB 的 HBM 要消耗相當於 4GB 常規 DRAM 的晶圓產能。O'Laughlin 引用的數字是 3-4 倍的替代比，視具體的 HBM 世代和製程而定。

這是什麼概念？假設全球 DRAM 晶圓產能是一個固定大小的水池。當 SK 海力士、三星、美光把越來越多的產線轉去生產 HBM 來滿足 NVIDIA 和各大雲端廠商的訂單，流入常規 DRAM 市場的水就以 3-4 倍的速度減少。你手機裡的記憶體、筆電裡的記憶體、伺服器裡的記憶體，全都來自同一個水池。AI 不是在旁邊挖了一個新水池，它是在直接把現有水池裡的水抽走。

TrendForce 預估，2026 年 AI 相關需求將消耗全球 DRAM 晶圓產能的 20%。而全球 DRAM 產能的年增長率只有 10-15%。供給增長追不上需求增長，這就是結構性短缺。

完美風暴：後下行週期的投資斷層

光是 HBM 的替代效應還不足以造成今天的局面。O'Laughlin 強調，真正讓危機雪上加霜的，是時機。

記憶體產業剛經歷了 1996 年以來最嚴重的下行週期。在 2022 年到 2024 年初的這段期間，DRAM 價格崩跌，三大廠商（SK 海力士、三星、美光）全部虧損。虧損的時候不會有人投資蓋新的晶圓廠。一座新的記憶體晶圓廠從動工到量產，大約需要兩年時間。這意味著，即使現在立刻開始投資，新產能最快也要到 2028 年才能上線。

O'Laughlin 用了一個詞：「投資斷層」。在最需要產能的時候，產能擴張的管線是空的。過去的保守讓未來的供給陷入真空。SemiAnalysis 的預測是，DRAM 價格可能再翻倍，甚至可能引發「需求毀滅」（demand destruction），也就是價格高到某些客戶開始減少採購，被迫在專案上做取捨。

第三層壓力來自 KV cache offloading。這是 AI 推論過程中的一個技術細節，但影響很大。當 AI 模型在處理長對話時，需要把「KV cache」（鍵值快取）儲存在記憶體中。模型的 context window 越大，需要的快取空間就越多。為了節省昂貴的 HBM，很多系統會把部分 KV cache 卸載到中間層的記憶體上。這擠壓了另一個本來就不寬裕的記憶體市場區間。

三個因素同時發生：HBM 吃掉頂層產能、下行週期消滅了投資、KV cache 擠壓中層市場。這就是完美風暴。

Context Rationing：記憶體短缺如何限制 AI 的能力天花板

O'Laughlin 在對話中提出了一個概念：context rationing，可以翻譯為「上下文配給制」。

目前主流 AI 模型的 context window 大約是一百萬個 token。這已經很大了，大到你可以把一整本書塞進去。但很多人期待 context window 會繼續快速增長到一千萬甚至一億個 token。O'Laughlin 的看法是：不會，至少短期內不會。原因就是記憶體。

每一個 token 的 context 都需要實體記憶體來儲存。一百萬 token 的 context window 已經是一棟豪宅，但要擴展到一億 token，需要的記憶體量呈非線性增長。在全球 DRAM 產能受限的情況下，這個豪宅不會變成摩天大樓。更可能發生的是反向的趨勢：免費方案的 context window 可能會被縮小，付費方案的 context window 成為分級定價的依據。就像過去的雲端運算從「無限儲存空間」回歸到按量計費，AI 的 context window 也會從「越來越大」走向「依價格配給」。

這對 AI 的應用場景有直接影響。如果你正在用 AI 做長文件分析、多輪對話、大型程式碼庫的理解，context window 的大小就是你的天花板。這個天花板不是軟體問題，是硬體問題，是物理限制。

CXL 復活：老技術的新用途

在記憶體短缺的壓力下，一個原本被市場冷落的技術正在復活：CXL（Compute Express Link）。

CXL 最初的設計目的是讓 CPU 和外部記憶體之間建立彈性的連接池，讓伺服器可以動態分配記憶體資源。但這個技術在過去幾年一直叫好不叫座，因為在 DRAM 供應充足的時候，沒有人需要這麼複雜的記憶體管理方案。

現在情況變了。O'Laughlin 觀察到，一些雲端廠商開始用 CXL 把舊的 DDR4 記憶體接到新的伺服器機架上。DDR4 是上一代的記憶體規格，效能不如 DDR5，但現在市場上有大量的 DDR4 庫存。透過 CXL，這些舊記憶體可以被重新利用，作為次級的記憶體池來分擔 KV cache 的壓力。這不是最優解，但在產能受限的環境下，是一個務實的過渡方案。

這是一個典型的「危機驅動採用」。技術本身早就存在了，但要等到市場條件逼到牆角，才有人願意認真用它。

微軟的困境與 Google 的窗口

記憶體短缺只是更大圖景的一塊拼圖。O'Laughlin 在同一集節目中也分析了科技巨頭在 AI 基礎設施競爭中的處境，最犀利的觀點是關於微軟。

他的論點很直接：微軟是最大的水平軟體公司，它的核心產品 Excel、PowerPoint、Outlook，本質上都是「人類用來做知識工作的 IDE」。如果 AI agent 可以直接用程式碼完成這些工作，那這些產品就變成了馬車時代的遺物。同時，微軟的 Azure 雲端業務在某種意義上是在出租 GPU 給「城門口的野蠻人」，OpenAI 每年都在變得更強大，而微軟自己的護城河卻在縮小。

另一個值得注意的分析是 Google TPU V7 的窗口期。O'Laughlin 認為，TPU V7 目前在總持有成本（TCO）上對 NVIDIA 有明確優勢，每一家 AI 實驗室在不受限的情況下都會盡可能多消耗 TPU V7 的產能。但這個窗口是暫時的。NVIDIA 的下一代架構 Rubin 搭配 HBM4，預計會大幅縮小差距。Google 應該趁現在積極爭取外部客戶的市場份額，因為安裝基礎（install base）會產生升級動機，而這正是 NVIDIA 最難被攻破的護城河。

O'Laughlin 估算，如果 Google 的 TPU 業務能拿下大約 30% 的 AI 加速器市場，這個業務本身可能價值接近一兆美元。但前提是 Google 願意在窗口關閉之前積極行動，而不是像過去那樣把好東西藏在內部。

我的觀察：臺灣站在這場風暴的中心

O'Laughlin 的分析有一個他沒有直接點名，但對臺灣讀者來說很關鍵的面向：這場記憶體短缺和 AI 基礎設施競賽的每一個環節，幾乎都和臺灣有關。

台積電的先進製程產能是 AI 晶片供給的最大瓶頸。不管是 NVIDIA 的 GPU、Google 的 TPU、還是 AMD 的加速器，全部仰賴台積電的 3 奈米和 5 奈米產線。記憶體封裝中的先進技術（如 HBM 的 TSV 堆疊）也需要台積電旗下的封裝產能支援。當 O'Laughlin 說 TSMC 產能是制約 Google TPU 擴張的主要因素時，他實際上是在說：臺灣的產能決定了全球 AI 產業的速度上限。

記憶體方面，雖然三大 DRAM 廠商（SK 海力士、三星、美光）的總部不在臺灣，但美光在臺灣設有重要的封裝和測試廠，臺灣的記憶體供應鏈（南亞科技、華邦電子等）也在這波漲價中直接受影響。DRAM 價格翻倍，對臺灣的電子代工產業，從手機到伺服器，成本結構都會產生連鎖反應。

把視野拉遠一點。O'Laughlin 把 AI 基礎設施投資比擬為鐵路建設時代，兩者佔 GDP 的比例已經接近。鐵路最終帶來了深遠的經濟轉型，但過程中也有泡沫和洗牌。臺灣是 AI 基礎設施供應鏈的核心節點，必然會在這個過程中扮演關鍵角色。但問題是：我們是在賣鐵軌的人，還是在建鐵路系統的人？這個問題的答案，可能決定臺灣在 AI 時代的最終定位。