📰 重點摘要

PrismML是一家仍未廣為人知的AI實驗室,目前只完成一輪2225萬美元的種子輪融資,但其技術路線與團隊背景使其備受矚目。公司由一群加州理工學院(Caltech)研究人員創立,執行長Babak Hassibi是Caltech教授,專長為壓縮技術;顧問陣容中包含Databricks共同創辦人、加州大學柏克萊分校Sky Computing Lab主任Ion Stoica。投資方包括Khosla Ventures、Cerberus Capital與Caltech。

PrismML的核心主張是:高效能的推理型大型語言模型不必然要「大」。上週四(9月17日)公司發布最新模型Bonsai 2 27B,將Alibaba開源的Qwen3.8 27B模型壓縮至僅5.9GB,體積縮小9至10倍,足以在一般PC甚至高階智慧型手機上運行(外界傳言PrismML正與Apple洽談合作,但Hassibi未證實)。

效能方面,Bonsai 2在綜合基準測試中達到原始Qwen模型98%的表現,較今年3月發布的第一代Bonsai(95%)有所提升。第一代模型下載量已超過1100萬次,更小型的衍生模型再累積260萬次下載。

技術原理上,PrismML透過壓縮模型「權重」(weights,即訓練過程中模型學習並儲存的資訊)來達成瘦身。一般模型每個權重需要16位元儲存,而PrismML採用的「三元」(ternary)權重方案,將數值簡化為僅三種:+1、−1或0,大幅降低儲存需求。

競爭對手方面,西班牙Donostia International Physics Center學者創立的Multiverse Computing也在做LLM壓縮,且募資規模更大,詳細內容請見原文連結。

💬 JudyAI Lab 觀點

PrismML最近以2225萬美元種子輪浮上檯面,團隊來自Caltech,執行長Babak Hassibi專攻壓縮技術,顧問陣容還有Databricks共同創辦人Ion Stoica坐鎮。

真正引起關注的是他們對「推理模型不必大」的技術主張。新發布的Bonsai 2 27B把Qwen3.8 27B壓縮到5.9GB,體積縮小9到10倍,卻還能維持原模型98%的效能,足以塞進一般PC甚至手機。方法是把權重從16位元砍到「三元」(+1、-1、0)三種數值。第一代Bonsai下載量已破1100萬次,顯示市場對輕量化模型的需求不是噱頭。這反映一個趨勢:當推理成本成為AI落地的瓶頸,壓縮跟量化技術的價值不輸於堆更大引數量。西班牙的Multiverse Computing也在做同樣的事,說明這不是單一團隊的孤例,而是整個產業正在認真思考的方向。對AI builder來說,值得花時間瞭解三元權重、量化這類壓縮技術的基本原理,評估自己手上的模型是否也有瘦身空間。

📅 原文資訊

🔗 延伸閱讀