📰 重點摘要

Nvidia的AI優勢正從GPU本身擴展到整個系統架構。過去主流敘事認為,Nvidia在AI浪潮初期是頂尖GPU的唯一供應商,隨產業擴張獲利豐厚,但近年Amazon、Google等雲端巨頭陸續自研晶片,讓投資人開始質疑其優勢的持久性——Nvidia股價在2023年初至2025年中成長10倍後,過去一年因GPU競爭加劇而走勢趨緩。

不過本週財報公布後,新的敘事正在成形:隨著AI運算規模邁向GW(十億瓦)等級,「編排」(orchestration)本身變得極度複雜,而Nvidia早已在GPU周邊系統布局大量頂尖硬體,使其在GPU以外的整體系統上仍保有巨大優勢,即便GPU本身面臨更多競爭。

具體來看,Nvidia正在推出Vera Rubin架構,將Rubin GPU與Vera CPU、Groq 3 LPX推理加速器,以及配套的儲存與網路機櫃搭配銷售。這些周邊系統的任務不是處理token運算,而是確保GPU以外的一切都能高效運作。其中Vera CPU專門處理資料編排問題——由於單一伺服器或運算平台能容納的記憶體有限,如何在對的時間把資料送到GPU手上並不簡單。Nvidia儲存技術副總裁Jason Hardy表示,在Vera CPU加速下,相關操作效能提升達3倍以上,使快閃記憶體能發揮完整效能而不會造成運算瓶頸,對於追求「每瓦token數」持續下降的資料中心而言至關重要。詳細內容請見原文連結。


💬 JudyAI Lab 觀點

較新聞的Nvidia本季財報表現亮眼,再次凸顯AI基礎建設競爭已不只是GPU本身,而是整個系統周邊的協同設計。

隨著AI運算走向GW等級規模,「編排」變得比單顆晶片效能更關鍵。Nvidia透過Vera Rubin架構,把GPU、CPU、推理加速器與儲存網路整合成一套系統銷售,用Vera CPU解決資料搬運瓶頸,讓運算效能提升3倍以上。這反映一個趨勢:當硬體規模擴大到一定程度,系統整合能力會變成比單點技術更難複製的優勢,對其他建構AI基礎設施的團隊來說,這也是值得參考的設計思維——最佳化不能只看單一元件,要看整條資料流動路徑。

對AI builder而言,值得思考的行動方向是:檢視自己手上的AI系統,瓶頸究竟卡在運算本身,還是資料流動與編排效率。


📅 原文資訊


🔗 延伸閱讀