📰 핵심 요약

OpenAI가 Decisions API를 처음으로 모든 사용자에게 개방하며 “빠르고 저렴한 지능” 시장에 본격 진출했습니다. 이 시장은 전 OpenAI 연구원이 창업한 스타트업 TypeSafe가 개척했으며, 이 회사는 Jev 모델로 기업가치 76억 달러에 도달했습니다. Jev는 일종의 “슈퍼 분류기” 방식의 딥러닝 모델로, 여러 선택지가 주어지면 신속하게 하나를 고르고 신뢰도 점수를 함께 제공합니다. 개발자들은 이런 결정 모델(System One 모델이라고도 함)이 다양한 워크플로우에서 대형 언어 모델을 대체할 수 있으며, 더 빠르고 비용도 크게 낮다는 점을 발견했습니다.

OpenAI API 제품 책임자 Nikunj Handa는 팀이 Jev를 보자마자 자체 버전 출시에 속도를 냈다고 밝혔습니다. 전용으로 보정된 결정 모델을 새로 학습시킨 것이 아니라, ChatGPT Luna를 재구성해 추론 속도를 높이고 비용을 낮췄다는 설명입니다. 그는 가장 큰 도약은 속도라고 짚으며, 응답 시간이 13초에서 100180밀리초로 줄었다고 말했습니다. 이 API는 9월 29일 개발자 데이에서 발표됐고, 목요일에 전체 고객에게 개방됐습니다. 공개 버전에는 음성과 비전 모달리티가 추가됐으며, 지리적으로 추론 자원을 분산 배치해 전 세계 지연 시간을 줄였습니다.

Box, Datadog, Ramp, Speak 등 고객사의 초기 테스트에서는 엔지니어들이 처리량을 높이기 위해 OpenAI의 대형 언어 모델을 이것으로 교체했습니다. Speak의 CTO Andrew Hsu는 동작 사이의 간격이 1.4초에서 0.13초로 줄었다고 말했습니다. OpenAI도 이를 활용해 Dots 음성 어시스턴트의 반응 속도를 개선했습니다.

다만 좋은 결정 모델이 무엇인지는 아직 결론이 나지 않았으며, 지능·비용·보정·속도 사이의 트레이드오프는 워크로드에 따라 다릅니다. TypeSafe CEO Diogo Almeida는 벤치마크를 신뢰하지 않으며 사용자가 자신의 시나리오에서 직접 테스트하길 권하지만, 이 회사는 지난주 이미지 지원과 smart-if 구문을 추가한 새 버전 Jev를 내놓으면서 자체 순위를 공개했습니다. AIM System One Index와 Artificial Analysis Decision Index에서는 Liquid의 D1 Ultra와 Base Lab의 Elephant-1이 더 좋은 성적을 냈고, Jev는 각각 7위와 3위, OpenAI는 8위와 14위였지만, TypeSafe는 여전히 OpenRouter에서 가장 많이 호출되는 모델입니다. 원문 후반부는 잘려 있어, 자세한 내용은 원문 링크를 참고하세요.

💬 JudyAI Lab 관점

이 뉴스가 눈여겨볼 만한 이유는 OpenAI가 ChatGPT Luna를 Decisions API로 재구성해 응답 시간을 13초에서 100180밀리초로 줄이고, 곧바로 “빠르고 저렴한 지능” 시장에 진출했기 때문입니다.

AI 빌더에게 이 사례는 모델 선택이 계층화되고 있음을 보여줍니다. 모든 단계에 대형 언어 모델이 필요한 것은 아닙니다. 원문에 따르면 개발자들은 이런 결정 모델(System One 모델이라고도 함)이 다양한 워크플로우에서 대형 언어 모델을 대체할 수 있고, 더 빠르며 비용도 크게 낮다는 점을 발견했습니다. Speak의 CTO Andrew Hsu 역시 동작 사이의 간격이 1.4초에서 0.13초로 줄었다고 말했습니다. 동시에 원문은 좋은 결정 모델이 무엇인지는 아직 결론이 나지 않았고, 지능·비용·보정·속도의 트레이드오프가 워크로드에 따라 다르다는 점도 짚습니다. TypeSafe CEO Diogo Almeida는 벤치마크조차 신뢰하지 않고, OpenAI는 두 지수에서 8위와 14위에 그쳤는데도 각 회사가 이 시장에 뛰어드는 데는 영향이 없습니다. 속도와 비용이 독립적인 경쟁 축이 되었음을 알 수 있습니다.

여러분의 워크플로우를 점검해, 정해진 선택지 중에서 고르기만 하면 되는 단계를 추려 보세요. 그리고 실제 데이터로 빠른 결정 모델과 대형 언어 모델의 지연 시간과 정확도 차이를 직접 테스트해 보시길 권합니다.

📅 원문 정보

🔗 함께 읽기