推論時代來了：為什麼 AI 公司都想自建基礎建設？

本文整理自《No Priors》2026 年 2 月播出的單集。

{{< youtube WSxVh5WvWZ4 >}}

{{< spotify "episode/4W3bpytsNMIHMLmiCvoszB" >}}

{{< apple-podcast "tw/podcast/how-capital-is-powering-the-ai-infrastructure/id1668002688?i=1000751732256" >}}

---

推論不是「訓練完就沒事」

過去幾年，AI 產業的注意力主要集中在訓練上。誰能訓練出最強的模型、誰能拿到最多 GPU、誰能建最大的訓練叢集。但 AI 應用從實驗室走進真實世界之後，一個結構性的轉變正在發生：推論（inference）的重要性和複雜度，正在超越很多人的預期。

No Priors 主持人 Sarah Guo 自己的經驗很能說明問題。「我已經重度使用 AI 好幾年了，但推理能力的進步、擴展推論的能力，特別是在寫程式方面，讓我一直撞到使用上限。這在早期是不會發生的。」當終端使用者持續增加使用量，推論負載就持續成長，而且這個成長曲線看不到放緩的跡象。

Magnetar Capital 常務董事 Neil Tiwari 在《No Priors》節目中深入分析了這個趨勢。過去幾年，訓練和推論的比重持續向推論傾斜。越來越多有正向投資報酬率的 AI 應用被開發出來，推論的占比只會繼續擴大。但他更想強調的是：推論遠比大多數人想像的複雜。

推論的三重挑戰

「推論比一開始以為的要複雜得多，」Neil Tiwari 說得很直白。「不是訓練完一個模型，推論就變簡單的事。」

第一個挑戰是延遲和成本之間的拉鋸。在某些場景下，推論可以使用和訓練相似的基礎設施，但真正的困難在於如何在大規模的 GPU 叢集上壓低推論成本，同時維持可接受的回應速度。每一毫秒的延遲在面對終端使用者時都會被放大，這不像訓練可以慢慢跑。推論是直接面對客戶的，速度就是體驗，體驗就是錢。

第二個挑戰和記憶體有關。推論本質上是一個記憶體吞吐量問題。在推論過程中有兩個關鍵階段：預填（prefill）和解碼（decode）。預填階段需要處理使用者的輸入，解碼階段則是逐步產生輸出。如何在一整群 GPU 上最佳化這兩個階段的協作，本身就是一個獨特的技術難題，和訓練階段的運算模式截然不同，需要完全不同的最佳化策略。

第三個挑戰是需求的波動性。訓練負載相對穩定，GPU 幾乎 100% 的時間都在全力運轉。但推論負載有明顯的波峰波谷，需求不是線性的。尖峰時段可能同時湧入大量請求，離峰時段算力卻大量閒置。如何管理這種波動、避免在離峰時浪費昂貴的算力，是一個需要精細調度的營運問題，也是推論雲端業者能否獲利的關鍵。

分散式推論：訓練叢集的反面

訓練和推論還有一個根本性的差異：基礎設施的形狀。

訓練叢集通常是高度集中的。一座 50、100、甚至 150 百萬瓦的算力設施，全部擠在同一座資料中心裡，因為訓練需要 GPU 之間極高速的通訊和共享記憶體。但推論的邏輯不一樣。AI 應用越來越普及之後，推論叢集正在走向分散化。

Neil Tiwari 對這個趨勢觀察得很仔細。「你開始看到分散式推論，可能是 4 到 5 百萬瓦分布在五座不同的資料中心，然後把它們串接在一起。」和單一巨型訓練叢集相比，這種架構對電力的需求模式完全不同，軟體的重要性也更高，因為你需要把分散在不同地點、可能規格不一的運算資源無縫整合起來。

他特別提到了 Baseten（Sarah Guo 投資組合中的公司），正在做的就是大規模最佳化分散式推論。這類公司面臨的核心挑戰是異質性管理：根據 Silicon Data 創辦人 Carmen Lee 的分析，兩台紙面上規格完全相同的運算設備，在實際的可靠性、成本、速度上都可能有截然不同的表現。在分散式架構下把這些差異極大的資源整合成一個穩定的推論服務，是一個全新的技術領域。

分散式推論還有一個電力面的優勢。大型訓練叢集需要 50 到 150 百萬瓦集中在一處，這種規模的電力極難取得。但 4 到 5 百萬瓦的小型推論叢集，找到合適的電力接入點容易得多。Sarah Guo 也認為，「只要有可用的推論算力，就一定找得到買家」。電力的現實限制，反而推動了基礎設施從集中走向分散。

NVIDIA 的「AI 工廠」構想

在分散式推論的趨勢之上，Neil Tiwari 觀察到 NVIDIA 正在推動一個他稱之為「AI 工廠」的概念。

目前 AI 算力市場的主要玩家是超大規模雲端業者（AWS、Azure、GCP）和新雲端業者（如 CoreWeave），它們建設大規模的雲端環境，服務各類客戶。但 NVIDIA 看到了一個不同的市場：讓大型企業擁有自己專屬的 AI 基礎設施。「財星五百大中使用大量算力的 AI 公司，會想要擁有專屬的 AI 工廠，對應它們自己運行的工作負載，而且是它們自己能控制的，」Neil Tiwari 這樣描述。這不是雲端租賃，而是把 AI 基建直接部署在企業的場域裡，讓企業對自己的算力擁有完全的掌控權。

推動這個趨勢的原因之一是利潤結構。Neil Tiwari 觀察到，對每一家 AI 應用層公司來說，算力是營收成本中最大的單一項目。而很多推論雲端業者本身也是從其他雲端買算力，這就形成了層層加價的結構。「當你看這些推論雲端的利潤率，中間有好幾層利潤在疊加。」為了拿回利潤、掌控自己的命運，越來越多公司開始思考：與其一層一層買別人的算力，不如自己建。

「應用層公司和推論雲端正在想辦法如何建設、擁有、營運自己的基礎設施，」Neil Tiwari 說。「這是我現在非常關注的方向。」這股「自建風潮」如果真的成為主流，AI 基礎設施的市場格局會出現重大變化：不再只有少數超大規模業者壟斷供給，而是出現大量中型的、專屬的、分散式的 AI 運算節點。

Blackwell 的效能跳躍：不只更強，是更便宜

在這波從訓練到推論的轉型中，硬體的世代更替也扮演了關鍵角色。Neil Tiwari 引用了 SemiAnalysis 的 Dylan Patel 的分析，揭示了一個讓業界很振奮的數字。

NVIDIA 宣稱從 Hopper 系列（H100/H200）升級到 Blackwell 系列，推論效能可以提升 30 倍。「結果有人拿 Jensen 的數學開玩笑，」Neil Tiwari 說，「但事實上他的數學很好。」實際測試數據顯示，Blackwell 在推論效能上的提升幅度高達 90 到 100 倍。這不只是宣傳數字，而是經過第三方驗證的實測結果。

「升級到新晶片的需求不只是要更多運算能力，」Neil Tiwari 解析，「而是營運起來其實更便宜。」這就是 Sarah Guo 口中的「性價比」。也是黃仁勳那句「買越多，省越多」聽起來像行銷話術、但在數字上確實成立的原因。對推論密集型的應用來說，升級到 Blackwell 不只是為了跑得更快，更是為了把每一筆推論的成本壓到最低。這也解釋了為什麼不只是頂級的 AI 實驗室，連新創公司也在搶最新一代的晶片。大家搶的不只是效能，更是營運成本的競爭優勢。

軟體股大跌是反應過度嗎？

訪談的最後一段，話題轉到了一個讓很多投資人焦慮的現象：資本正在大舉從傳統軟體股撤出，轉進 AI 基礎設施和 AI 原生公司。

Neil Tiwari 親眼見證了這波輪動的幅度。「有趣的是，幾乎每天都有另一個產業暴跌。你看到理財顧問跌了好幾天，看到顧問公司跌，看到支付公司跌，看到不動產跌。」他認為觸發這波恐慌的是一個真實的變化：2025 年底到 2026 年初，可用 AI 的效能出現了一次明顯的躍升。他特別點名 Anthropic 的 Claude，認為這類模型讓人真切感受到 AI 可以顛覆非 AI 原生的產業。

但他同時認為市場反應過度了。從估值面來看，SaaS 公司的自由現金流倍數已經跌到多年來的低點，但同期間這些公司的自由現金流利潤率其實是穩步上升的。營收倍數和獲利能力之間出現了顯著的背離。「至少我的看法是，在所有這些產業裡，都有個別公司會學會如何用 AI 最大化自己的價值，也有些公司不會。但現在發生的是，鐵鎚打下去打的是所有公司，而不是只打那些沒做好 AI 應用的。」

他還點出了一個被低估的護城河：整合深度。紙面上看起來，AI 確實可以重建 Slack、重建 Salesforce、重建任何 SaaS 工具。「但真正難複製的不只是產品，而是它和企業內部各種服務與系統之間長年累積的深度整合。我認為這比公開市場目前的反應所暗示的要困難得多。」

我的觀察

從訓練到推論的轉變，表面上看是技術架構的調整，但它背後其實是 AI 產業從「實驗階段」走向「生產階段」的標誌。訓練是做出好模型，推論是讓模型創造價值。當推論的成本和複雜度成為業界最關注的議題，代表 AI 真的在大規模落地了。

Neil Tiwari 對軟體股的觀點也很值得思考。AI 確實有能力顛覆很多傳統軟體，但市場用「全面拋售」的方式來反映這個趨勢，忽略了一個事實：企業軟體的價值不只在功能，更在那些看不見的整合、資料沉澱、和組織慣性。這些東西不會因為 AI 能寫程式碼就一夕消失。

對臺灣的硬體和半導體產業來說，推論時代帶來的是一個更多元的需求結構。訓練集中在少數超大規模叢集，但推論分散在無數個中小型節點。這可能意味著市場對不同規格、不同功耗的晶片會有更多樣化的需求，而不是一味追求最頂級的算力。對晶片設計和製造來說，這是一個值得提前布局的方向。