📰 重點摘要

General Compute是一家專注AI推理雲端運算的新創公司，剛從科技投資機構Upper90取得4億美元貸款，這可能是首宗以「推理專用晶片」作為抵押品的融資案——這類晶片專為快速高效執行已訓練完成的AI模型而設計，成本遠低於用來訓練模型本身的高階晶片。這筆融資反映市場正對AI工具與token定價過高的疑慮做出回應，轉而投向能以更低成本運行開源模型的基礎設施，而非最新一代前沿實驗室的LLM。General Compute由執行長Finn Puklowski創辦，今年5月完成1500萬美元種子輪，圍繞英特爾投資的晶片商SambaNova打造推理專用neocloud（有別於AWS、Azure等通用型超大規模雲端）。其SN50晶片專為推理設計，省電且不需昂貴的水冷系統，因此能比GPU更快速部署到更多樣的資料中心，官方宣稱推理速度比GPU雲端快16倍。挑戰在於新創公司如何取得足量晶片。Upper90共同創辦人暨執行長、前高盛量化交易員Billy Libby曾在2021年為專注能源的資料中心新創Crusoe提供GPU採購貸款，被認為是史上首宗以先進晶片價值作抵押的貸款；如今GPU市場已趨成熟甚至可能超額採購，Upper90轉向押注推理賽道下一波成長。Libby指出開源模型的重要性正在上升，OpenRouter、Fireworks等開源模型存取服務近期都以高估值完成新一輪融資，Kimi K3等新模型在程式編碼基準測試上已可與Anthropic、OpenAI最新版本匹敵，Groq、Cerebras等新晶片商也吸引了收購方與公開市場的關注。

💬 JudyAI Lab 觀點

General Compute剛從Upper90取得4億美元貸款,首度以推理專用晶片作為抵押品,我們認為這是個值得關注的訊號:資金開始從訓練端轉向部署端。

這筆貸款反映的不只是晶片行情,而是整個AI成本結構在轉向。當token定價過高的疑慮持續發酵,資本開始押注「跑得起」而非「最先進」的基礎設施——SN50晶片主打省電、免水冷,官方宣稱推理速度比GPU雲端快16倍,而Kimi K3這類開源模型已能在程式編碼測試上追平Anthropic與OpenAI最新版本,顯示開源模型加專用推理晶片,正成為獨立於前沿實驗室之外的另一條路線。

挑選AI基礎設施時,不妨把「每token成本」與模型能力放在同一張評估表上檢視。

📅 原文資訊

🔗 延伸閱讀