긴 분량의 오디오 작업을 해본 사람이라면 이 고통을 분명히 알 것이다.

십 분짜리 내레이션을 힘들게 생성해서 처음부터 끝까지 들어봤는데, 그 안에 딱 한 단어가 음이 깨지거나 잘못 발음됐다면 어떻게 할까? 전체를 다시 뽑아야 한다. 크레딧은 그렇게 타 버린다. 마치 가챠를 뽑는데 꽝이 나온 것처럼 마음이 쓰리다.

나도 AI 팀의 음성 작업을 도울 때 가장 자주 막히는 지점이 여기였다. ElevenLabs는 분명 쓰기 좋은 도구지만, 솔직히 구독에 크레딧을 더하는 그 방식은 오래 쓸수록 정말 부담스럽다. ‘콘텐츠’에 돈을 내는 게 아니라 ‘시행착오’에 돈을 내는 셈이다.

그런데 오늘, 여기에 돌파구 하나가 등장했다.

Fish Audio가 Drama 3라는 음성 모델을 내놓았는데, 오픈 웨이트(open-weight) 방식이다(이게 ‘오픈소스’와는 조금 다르다는 건 뒤에서 설명하겠다). 가장 눈에 띄는 점은, Artificial Analysis의 벤치마크에서 발음 정확도가 ElevenLabs를 직접적으로 앞질렀다는 것이다. 발표 영상에는 Uncle Roger까지 등장해, 그가 직접 ‘감독’하며 자신의 목소리로 만든 AI 분신을 보여준다(본인의 동의를 받았다). 이 장면 자체만으로도 꽤 화제성이 있다.

하지만 내가 정말 자세를 고쳐 앉게 된 건 단어 편집 기능 때문이다.

예전에는 ‘단어 하나 틀리면 전체를 다시’라는 악몽 같은 방식이었지만, Drama 3는 이렇게 처리한다. 고치고 싶은 단어를 표시하고 올바른 내용을 입력하면, 모델은 그 단어 하나만 다시 생성하면서 앞뒤의 어조, 감정, 리듬에 자동으로 맞춰준다. 이미 들어봤고 만족했던 나머지 부분은 단 한 글자도 바뀌지 않는다.

이 방향은 정말 크리에이터의 가려운 곳을 긁어준다. 이것이 해결하려는 문제는 ‘재작업 비용’이지, 화려한 기능 하나를 더 끼워 넣는 게 아니다. 다만 솔직히 말하자면, 이 단어 편집 기능은 아직 초대제 테스트 단계라 누구나 바로 쓸 수 있는 건 아니다. 하지만 이 방향으로 나아가려 한다는 것 자체만으로도 이미 흥미롭다.

감정 제어도 지원한다. ElevenLabs와 마찬가지로 텍스트 안에 태그를 심어서 한숨을 쉬게 하거나, 웃게 하거나, 속삭이게 하거나, 울먹이는 목소리를 내게 할 수 있다. 이는 캐릭터를 만들거나, 대화를 구성하거나, 감정이 담긴 긴 콘텐츠를 만들 때 핵심적인 기능이다.

그렇다면 ‘오픈 웨이트’와 ‘무료 오픈소스’는 정확히 무엇이 다를까? 이 부분은 특히 명확히 짚고 싶다. 많은 사람이 혼동하고, 제목만 보고 오해하기도 가장 쉬운 지점이기 때문이다.

Drama 3의 가중치는 HuggingFace에, 코드는 GitHub에 공개되어 있지만, Fish Audio 자체의 커뮤니티 라이선스를 적용하고 있다. 연구용과 비상업적 용도는 무료이고, 상업적 용도는 본인(및 관계사)의 연매출이 50만 달러 미만일 때만 무료이며, 이를 초과하면 별도로 라이선스를 협의해야 한다. 또한 본인의 동의 없는 음성 클로닝은 명문으로 금지하고 있다.

그러니 이것은 ‘완전 무료, 마음대로 써도 되는’ 종류의 오픈소스는 아니다. 하지만 대다수의 개인 크리에이터, 소규모 팀, 스스로 에이전트를 만들어보는 사람들에게 이 문턱은 거의 무료에 가깝다. 이게 핵심이다.

그리고 과열된 기대는 조금 식혀둘 필요가 있다. 이것은 350억 파라미터 규모의 대형 모델이다(MoE 구조라 매번 그중 일부 파라미터만 작동한다). 공식에서 제시한 성능 수치는 H200 한 장, 단일 스트림 기준 초당 271프레임 디코딩이다. 다시 말해 스마트폰에서 밀리초 단위로 반응하는 작은 모델이 아니라, 원활히 돌리려면 그만한 하드웨어가 뒷받침돼야 한다는 뜻이다. 혹시 인터넷에서 누군가 “밀리초급 반응"이라고 말하는 걸 봤다면, 내가 공식 자료를 확인해본 결과 그런 언급은 없었으니 일단 그대로 믿지는 말자.

하지만 이런 점들이 한 가지 사실을 바꾸지는 못한다. 폐쇄형 소스와 구독으로 쌓아 올린 ElevenLabs의 요금 해자에, 오늘 정말로 구멍 하나가 뚫렸다는 사실 말이다.

직접 에이전트를 만드는 사람들, 긴 오디오를 작업하는 크리에이터들에게는 반가운 소식이다. 선택지가 하나 더 생겼다. 음이 깨질 때마다 마음 아파하며 크레딧을 태우지 않아도 되는 선택지다. 해자에 금이 하나 갔으니, 물은 서서히 스며들 것이다. 이제 남은 건 Fish Audio가 이 흐름을 버텨낼 수 있을지, 그리고 ElevenLabs가 그 부담스러운 자세를 내려놓을지 지켜보는 일이다.

나도 일단 직접 받아서 써보고, 써본 소감을 가지고 다시 돌아와 이야기하겠다.