지난 한 주간 내가 추적한 AI 하드웨어 뉴스를 합산하면, 전 세계가 일주일 동안 쏟아부은 자금이 6,100억 달러를 넘는다.

추정치도 시가총액도 아닌, 실질적인 자본 지출 약속이다. 한국 5,500억, 일본 60억, 퀄컴의 신형 가속기, 가와사키 중공업의 10억 달러 AI 인프라 채권 발행까지—이번 움직임의 규모는 이미 2000년 닷컴 버블 최고조 당시 반년치를 넘어섰다. 하지만 이번엔 돈이 웹페이지가 아닌 칩·메모리·전력으로 흐른다. 며칠 동안 지켜보며 생각했다—투자자 입장에서, 그리고 AI로 제품을 만드는 구축자 입장에서, 이 도박이 도대체 무엇을 의미하는가.

AI 훈련 병목의 진실: GPU 부족 → 메모리 부족 → 전력 부족

솔직히 말해서, 모두가 AI에서 모델만 바라보지만 실제로 목을 조르는 건 모델이 아니라 하드웨어다.

2023년부터 2025년까지 병목은 GPU 부족에서 메모리 부족으로 옮겨갔고, 지금은 전력 부족으로 나아가고 있다. GPU가 빠듯할 때 다들 H100을 쟁탈했고 NVIDIA는 엄청난 수익을 올렸지만, H100의 진짜 병목은 GPU 코어가 아니라 HBM 고대역폭 메모리였다. B200에 탑재된 HBM3E는 SK하이닉스 생산량이 NVIDIA에 통째로 묶여 있고, 삼성은 맹추격 중이지만 수율이 따라가지 못하는 상황이다.

이것이 바로 한국이 메모리 웨이퍼 공장 4곳에 5,180억 달러+중부 520억 달러, 합계 5,500억 달러를 한 번에 쏟아붓기로 한 이유다(TechCrunch). 이는 단순한 업스트림 생산 능력 보충이 아니다. 핵심은 삼성+SK하이닉스가 NVIDIA의 하위 공급업체 자리에서 벗어나 AI 하드웨어의 주도권을 손에 쥐려는 것이다.

왜 다운스트림 하드웨어 투자가 이렇게 늦게 시작됐을까? 지난 2년간 모두가 ‘이번 AI 열풍도 또 꺼지는 것 아닐까’ 하며 관망했기 때문이다. 2026년이 되어 GPT-6, Claude 4, Gemini 3가 모두 출시되고, 추론 비용이 낮아지고, 실제 사용자 수가 올라오자 비로소 10년 이상의 생산 능력에 베팅할 수 있게 됐다. 일본도 소프트뱅크 주도의 AI 모델 개발 지원에 60억 달러를 배정했으며(Nikkei), 가와사키 중공업은 10억 달러 채권을 발행해 AI 인프라에 진출했다. 동아시아는 ‘AI 주권’을 국가 차원의 의제로 추진하고 있다.

퀄컴의 도전: HBM을 우회한다는 것의 의미

그리고 퀄컴의 이번 행보는 매우 흥미롭다.

퀄컴이 7월 초 발표한 신형 AI 가속기 시리즈는 ‘HBM 불필요’를 내세운다(Qualcomm). LPDDR+온칩 SRAM 조합으로 가는데, 겉보기엔 타협처럼 들리지만 실제로는 완전히 다른 길이다.

이 길이 통한다면, 생태계 전체에 세 가지 의미가 있다.

첫 번째 층은, NVIDIA의 기술 장벽이 한 지점에서 뚫린다는 것이다. H100/B200이 의존하는 건 CUDA만이 아니라 CUDA+HBM+NVLink 전체 조합이 만드는 락인 구조인데, HBM이 우회되면 ‘AI 추론에는 무조건 NVIDIA’라는 논리가 한쪽에서 풀리기 시작한다.

두 번째 층은 TSMC에게 더 미묘하다. NVIDIA의 B200은 TSMC 4nm, 퀄컴 신형 가속기도 TSMC, 삼성·SK하이닉스의 HBM 패키징도 TSMC의 CoWoS를 거친다. 누가 이기든 TSMC는 이번 판에 수주를 챙긴다—이것이 내가 TSMC를 NVIDIA보다 중장기 관점에서 더 적합한 투자처로 보는 이유다.

세 번째 층은 AI 애플리케이션 개발자에게 가장 실질적인 영향이다. 퀄컴이 추론 비용을 NVIDIA 동급 대비 3분의 1로 낮출 수 있다면, 우리가 지금 쓰는 OpenAI/Anthropic API 비용이 반년 후 절반으로 떨어질 수도 있다. 오늘 ‘API가 너무 비싸서 못 만들겠다’고 포기했던 모든 제품 아이디어들이 다시 꺼내져 재도전될 것이다.

4가지 투자+구축자 실전 판단

그래서 나는 이를 4가지 판단으로 정리했다.

첫째, NVIDIA 단기 고점을 추격 매수하지 말 것. 지난번 하루에 6,000억 달러 이상 시가총액이 증발한 교훈도 아직 소화되지 않았는데, 밸류에이션은 이미 향후 3년의 완벽한 실행을 가격에 반영하고 있다. 어느 지점에서든 기대에 미치지 못하면 조정 폭이 만만치 않을 것이다.

둘째, TSMC는 양면에서 수혜를 받는다. 한국의 HBM 패키징, NVIDIA의 B200, 퀄컴의 신형 가속기—모두 TSMC가 수주한다. 누가 싸우든 TSMC는 주문을 받는다.

셋째, AI 앱 개발자는 하드웨어 재편을 기다릴 필요 없다. 지금 OpenAI/Anthropic API로 만드는 제품은 기저 하드웨어가 무엇으로 바뀌든 투명하게 작동하며, 마이그레이션 비용은 사실상 0에 가깝다. 기다리는 사람만 기회의 창을 놓친다.

넷째, 향후 6개월간 두 가지 신호를 주시할 것: 전력(미국 각 주의 데이터센터 전력 허가, 일·한 핵발전 재가동 일정) + HBM4 양산 일정(2027년 2분기가 관건).

마무리: 자금은 버블에서 빠져나오지만, 인프라는 남는다

이번은 닷컴 붕괴 이후 단일 섹터에서 이루어진 가장 큰 규모의 글로벌 자금 투입이다. 버블적 요소가 있는 건 사실이지만, 기저 수요는 진짜다. 자금은 버블에서 빠져나올 것이다. 하지만 빠져나온 자리에 인프라는 진짜로 남는다—2000년 당시 광섬유만 깔리고 아무도 쓰지 않았던 것과는 다르다. 이번에 남는 것은 앞으로 10년간 AI가 달릴 토대다. 내가 만드는 모든 제품은 이 가정 위에 베팅하고 있다.