📰 重點摘要

OpenAI 首度將 Decisions API 開放給所有使用者，正式切入「快速、低價智慧」市場。這個市場由前 OpenAI 研究員創辦的新創公司 TypeSafe 開創，該公司憑藉 Jev 模型估值已達 76 億美元。Jev 屬於一種「超級分類器」式的深度學習模型：給定一組選項，能迅速做出選擇並附上信心評分。開發者發現這類決策模型（又稱 System One 模型）可在多種工作流程中取代大型語言模型，速度更快、成本大幅降低。

OpenAI API 產品負責人 Nikunj Handa 表示，團隊看到 Jev 後立刻衝刺推出自家版本。做法並非訓練專屬的校準決策模型，而是把 ChatGPT Luna 重新配置，加速推論並壓低成本。他指出最大突破在速度，回應時間從一到三秒縮短到 100 至 180 毫秒。該 API 於 9 月 29 日開發者日宣布，週四對全體客戶開放，公開版新增語音與視覺模態，並透過在地理上配置推論資源來降低全球各地的延遲。

在 Box、Datadog、Ramp、Speak 等客戶的初期試用中，工程師以此取代 OpenAI 的大型語言模型以提高吞吐量。Speak 的技術長 Andrew Hsu 說，動作之間的間隔由 1.4 秒降到 0.13 秒；OpenAI 也用它改善 Dots 語音助理的反應速度。

不過，什麼才是好的決策模型仍無定論，智慧、成本、校準與速度的取捨因工作負載而異。TypeSafe 執行長 Diogo Almeida 不信任基準測試，建議用戶在自己的場景實測，但該公司上週發布新版 Jev（新增圖片支援與 smart-if 語句）時仍公布了自家排名。在 AIM System One Index 與 Artificial Analysis Decision Index 上，Liquid 的 D1 Ultra 與 Base Lab 的 Elephant-1 表現較佳；Jev 分別排第七與第三，OpenAI 則為第八與第十四，但 TypeSafe 仍是 OpenRouter 上被呼叫最多的。原文後段內容被截斷，詳細內容請見原文連結。

💬 JudyAI Lab 觀點

這則新聞值得關注，是因為OpenAI把ChatGPT Luna重新配置成Decisions API，回應時間從一到三秒縮短到100至180毫秒，直接切入「快速、低價智慧」市場。

對AI builder來說，這個案例顯示模型選擇正在分層：並不是每個步驟都需要大型語言模型。原文提到，開發者發現這類決策模型（又稱System One模型）可在多種工作流程中取代大型語言模型，速度更快、成本大幅降低。Speak的技術長Andrew Hsu也說，動作之間的間隔由1.4秒降到0.13秒。同時，原文也點出什麼才是好的決策模型仍無定論，智慧、成本、校準與速度的取捨因工作負載而異。TypeSafe執行長Diogo Almeida甚至不信任基準測試，OpenAI在兩份指數的排名也只有第八與第十四，卻不影響各家搶進這個市場。可見速度與成本已成為獨立的競爭維度。

建議你盤點自己的工作流程，挑出只需要在固定選項中做選擇的步驟，用自己的真實資料實測快速決策模型與大型語言模型的延遲和準確度差異。

📅 原文資訊

🔗 延伸閱讀