📰 핵심 요약

엔비디아의 AI 우위는 GPU 자체를 넘어 전체 시스템 아키텍처로 확장되고 있다. 그동안의 주류 서사는 엔비디아가 AI 붐 초기 최고 성능 GPU의 유일한 공급자로서 산업 확장과 함께 막대한 이익을 거뒀다는 것이었지만, 최근 몇 년간 아마존과 구글 등 클라우드 대기업들이 잇따라 자체 칩을 개발하면서 투자자들은 이 우위가 얼마나 지속될지 의문을 품기 시작했다 — 엔비디아 주가는 2023년 초부터 2025년 중반까지 10배 성장한 뒤, GPU 경쟁 심화로 지난 1년간 상승세가 둔화되었다.

하지만 이번 주 실적 발표 이후 새로운 서사가 형성되고 있다. AI 연산 규모가 GW(기가와트)급으로 향하면서 ‘오케스트레이션(orchestration)’ 자체가 극도로 복잡해지고 있으며, 엔비디아는 이미 GPU 주변 시스템에 최고 수준의 하드웨어를 대거 배치해 놓아 GPU 자체에서는 경쟁이 심화되더라도 GPU 이외의 전체 시스템에서는 여전히 막대한 우위를 유지하고 있다는 것이다.

구체적으로 엔비디아는 Vera Rubin 아키텍처를 출시하면서 Rubin GPU와 Vera CPU, Groq 3 LPX 추론 가속기, 그리고 이에 맞는 스토리지 및 네트워크 랙을 함께 판매하고 있다. 이러한 주변 시스템의 역할은 토큰 연산을 처리하는 것이 아니라 GPU 이외의 모든 부분이 효율적으로 작동하도록 보장하는 것이다. 이 중 Vera CPU는 데이터 오케스트레이션 문제를 전담하는데, 단일 서버나 연산 플랫폼이 수용할 수 있는 메모리에는 한계가 있어 적절한 시점에 데이터를 GPU로 전달하는 일이 결코 간단하지 않다. 엔비디아 스토리지 기술 부문 부사장 제이슨 하디(Jason Hardy)는 Vera CPU 가속을 통해 관련 작업의 성능이 3배 이상 향상되며, 이를 통해 플래시 메모리가 연산 병목을 일으키지 않으면서 완전한 성능을 발휘할 수 있게 된다고 밝혔다. 이는 ‘와트당 토큰 수’를 지속적으로 낮추려는 데이터센터에게 매우 중요한 요소다. 자세한 내용은 원문 링크를 참고하기 바란다.

💬 JudyAI Lab 의견

이번 뉴스는 엔비디아의 이번 분기 실적이 눈에 띄게 좋았다는 것을 보여주며, AI 인프라 경쟁이 더 이상 GPU 자체에 국한되지 않고 전체 시스템 주변의 협업 설계로 확장되고 있음을 다시 한번 부각시킨다.

AI 연산이 GW급 규모로 나아가면서 ‘오케스트레이션’이 단일 칩의 성능보다 더 중요해지고 있다. 엔비디아는 Vera Rubin 아키텍처를 통해 GPU, CPU, 추론 가속기, 스토리지 네트워크를 하나의 시스템으로 통합해 판매하고, Vera CPU로 데이터 이동 병목을 해결해 연산 성능을 3배 이상 끌어올렸다. 이는 하나의 흐름을 보여준다: 하드웨어 규모가 일정 수준 이상으로 커지면 시스템 통합 능력이 단일 기술보다 복제하기 어려운 우위가 된다는 것이다. AI 인프라를 구축하는 다른 팀들에게도 이는 참고할 만한 설계 사고방식이다 — 최적화는 단일 구성 요소만 봐서는 안 되며, 전체 데이터 흐름 경로를 봐야 한다.

AI 빌더 입장에서 고민해볼 만한 실행 방향은 다음과 같다: 자신이 보유한 AI 시스템을 점검할 때, 병목이 실제로 연산 자체에 있는지, 아니면 데이터 흐름과 오케스트레이션 효율성에 있는지를 살펴보는 것이다.

📅 원문 정보

🔗 더 읽어보기