📰 重點摘要

日經亞洲最新一期《Tech Latest》Podcast 邀請台北科技特派員李璐璐(Lauly Li)與主持人 Katey Creel 對談,核心議題是:AI 浪潮為何正在引發 CPU 的全面復甦。

長期以來,AI 訓練與推理工作負載幾乎由 GPU 主導,然而隨著模型規模不斷膨脹,GPU 的供應瓶頸與高功耗問題日益嚴峻。晶片製造商正積極重新審視 CPU 在 AI 基礎設施中的角色——尤其是在推理端(inference),CPU 在延遲敏感、批次規模較小的場景下具備成本與靈活性優勢。部分業者也透過加強 CPU 與 AI 加速器的異構協作架構,試圖分散對單一 GPU 的過度依賴。

不過,本段原始摘要為 Podcast 節目介紹文字,屬於預告性質,並未披露具體數字、廠商名稱或技術細節。若需深入了解晶片廠商的具體策略、CPU 市場回升的數據支撐,以及台灣半導體生態系在此波轉型中的定位,詳細內容請見原文連結。


💬 JudyAI Lab 觀點

GPU曾幾乎壟斷AI算力,但供應瓶頸與高功耗問題讓晶片圈重新給CPU一個位置——尤其是在推理端。這是AI算力成本邏輯可能開始轉變的訊號。

報導指出,在延遲敏感度較低、批次規模較小的推理場景,CPU具備成本與靈活性優勢。部分廠商也開始嘗試CPU搭配AI加速器的異構架構,目的是分散對單一GPU的過度依賴。這對AI builder有個很直接的啟示:推理部署的算力選型不是「GPU越強越好」的單選題。不同場景的批次規模和延遲需求差異很大,把這些維度納入選型邏輯,往往比預設走GPU更省成本,也更有彈性。

下次規劃推理部署時,可以先問自己:這個場景的批次規模與延遲容忍度,真的非GPU不可嗎?把這道問題放進技術選型的起點,可能比想像中更省預算。


📅 原文資訊


🔗 延伸閱讀