📰 핵심 요약

AI 추론 클라우드 컴퓨팅에 특화된 스타트업 General Compute가 기술 투자 기관 Upper90으로부터 4억 달러 대출을 받았다. 이는 ‘추론 전용 칩’을 담보로 삼은 최초의 금융 거래일 수 있다 — 이 칩들은 이미 학습이 끝난 AI 모델을 빠르고 효율적으로 실행하도록 설계되어, 모델 학습에 쓰이는 고급 칩보다 훨씬 저렴하다. 이번 대출은 AI 도구와 토큰 가격이 과도하게 높다는 시장의 우려에 대한 반응으로, 최신 프론티어 랩의 LLM보다 더 낮은 비용으로 오픈소스 모델을 운영할 수 있는 인프라로 자금이 이동하고 있음을 보여준다. General Compute는 CEO Finn Puklowski가 창업했으며, 올해 5월 1,500만 달러 규모의 시드 라운드를 완료했다. 이 회사는 인텔이 투자한 칩 제조사 SambaNova를 중심으로 추론 전용 니오클라우드(AWS, Azure 같은 범용 하이퍼스케일 클라우드와는 다른 형태)를 구축하고 있다. SambaNova의 SN50 칩은 추론에 특화되어 전력 소모가 적고 값비싼 수냉 시스템이 필요 없어, GPU보다 더 빠르게 다양한 데이터센터에 배치할 수 있다. 공식 발표에 따르면 추론 속도는 GPU 클라우드보다 16배 빠르다. 관건은 스타트업이 충분한 양의 칩을 확보할 수 있느냐다. Upper90의 공동창업자 겸 CEO이자 전 골드만삭스 퀀트 트레이더인 Billy Libby는 2021년 에너지 특화 데이터센터 스타트업 Crusoe에 GPU 구매 대출을 제공한 바 있는데, 이는 첨단 칩 가치를 담보로 삼은 사상 최초의 대출로 평가받는다. 이제 GPU 시장이 성숙 단계에 접어들고 오히려 과잉 조달 상태일 수 있는 가운데, Upper90은 추론 부문의 다음 성장 파도에 베팅을 옮기고 있다. Libby는 오픈소스 모델의 중요성이 커지고 있다고 지적한다. OpenRouter, Fireworks 같은 오픈소스 모델 접근 서비스들은 최근 고평가로 신규 자금 조달을 완료했고, Kimi K3 같은 신규 모델은 코딩 벤치마크에서 이미 Anthropic, OpenAI의 최신 버전과 견줄 만한 수준에 도달했으며, Groq, Cerebras 같은 신흥 칩 제조사들도 인수 후보 및 공개 시장의 관심을 끌고 있다.

💬 JudyAI Lab 관점

General Compute가 Upper90으로부터 4억 달러 대출을 받으면서 처음으로 추론 전용 칩을 담보로 내세웠다. 우리는 이것이 주목할 만한 신호라고 본다: 자금이 학습 단계에서 배포 단계로 이동하기 시작했다는 것이다.

이번 대출이 반영하는 것은 단순한 칩 시세가 아니라, AI 비용 구조 전체가 방향을 틀고 있다는 사실이다. 토큰 가격이 과도하다는 우려가 계속 확산되는 가운데, 자본은 ‘최첨단’이 아니라 ‘실제로 돌아가는’ 인프라에 베팅하기 시작했다. SN50 칩은 전력 절감과 수냉 불필요를 내세우고, 공식적으로는 추론 속도가 GPU 클라우드보다 16배 빠르다고 한다. 여기에 Kimi K3 같은 오픈소스 모델이 코딩 테스트에서 Anthropic, OpenAI의 최신 버전을 이미 따라잡았다는 점을 더하면, 오픈소스 모델과 전용 추론 칩의 조합이 프론티어 랩과는 별개의 독립적인 노선으로 자리 잡고 있음을 알 수 있다.

AI 인프라를 선택할 때는 ‘토큰당 비용’과 모델 성능을 같은 평가표 위에 놓고 함께 검토해볼 만하다.

📅 원문 정보

🔗 함께 읽으면 좋은 글