📰 重點摘要

OpenAI 在系列文章第二部分說明，為了支撐 ChatGPT 逼近十億使用者的規模，他們如何擴充名為 Habitat 的儲存層。原文摘要點出三個核心做法：第一，透過可靠的多租戶（multi-tenancy）設計，讓不同工作負載與客戶能共用同一套基礎架構，同時維持彼此隔離與穩定性；第二，建立全球快取（global caching）機制，讓資料能更靠近使用者，減少跨區域存取的延遲；第三，底層採用 Azure Cosmos DB 作為資料庫支撐。整體成果是 ChatGPT 的讀取速度提升至原本的 12 倍。

這項數字是原文摘要中唯一明確揭露的效能指標。至於多租戶如何做資源隔離、全球快取的失效與一致性策略、Cosmos DB 的分區與容量配置方式，以及遷移過程中遇到的取捨，摘要內並未提供進一步細節。詳細內容請見原文連結。

💬 JudyAI Lab 觀點

OpenAI 為了讓ChatGPT撐住逼近十億的使用者,把名為 Habitat 的儲存層重新擴充,最後讓讀取速度提升到原本的 12 倍。值得關注的是,這個數字來自儲存層的設計,而不是模型本身。

原文摘要提到三個做法:多租戶設計讓不同工作負載共用同一套基礎架構,同時維持隔離與穩定;全球快取讓資料更靠近使用者,減少跨區域存取的延遲;底層則採用 Azure Cosmos DB。對AI builder來說,這反映出一個趨勢:產品規模變大之後,瓶頸常常不在模型推論,而在資料怎麼存、怎麼讀、怎麼分給不同使用者。體驗的快慢,有相當一部分取決於資料離使用者多近。不過摘要只揭露了 12 倍這個結果,隔離機制、快取一致性與遷移取捨都沒有細節,所以我們不宜直接照搬做法,只能把它當成值得留意的方向。

行動上,可以先量一次自己產品的讀取延遲,看看慢的是模型還是資料層,再決定要不要投入快取。

📅 原文資訊

🔗 延伸閱讀