做過長音頻的人應該都懂那種痛。
你辛辛苦苦生成一段十分鐘的旁白,從頭聽到尾,結果裡面就一個字破音、或一個破音字唸錯——然後呢?整段重抽。credit就這樣燒掉,像在抽卡,抽到你心痛。
我自己在幫AI團隊做語音的時候,最常卡在這裡。ElevenLabs很好用沒錯,但那個訂閱加credit的模式,說實話用久了真的很難受。你不是在為「內容」付費,你是在為「試錯」付費。
然後今天,這件事出現了一個突破口。
Fish Audio丟出了一個叫Drama 3的語音模型,而且是開放權重的(open-weight,等等會解釋這跟「開源」不太一樣)。它最狠的地方是:在Artificial Analysis的基準上,發音準確度直接贏過ElevenLabs。發佈影片還找來Uncle Roger,讓他親自「導演」一個用他自己聲音做的AI分身(有經過本人同意)——光這個畫面就很有戲。
但真正讓我坐直身體的,是它的單字編輯。
以前那種「一個字錯、整段重來」的惡夢,Drama 3的做法是:你把要改的那個字標起來,輸入正確的,模型就只重新生成那一個字,而且會自動吻合前後的語氣、情緒、節奏——其他你已經聽過、已經滿意的部分,一個字都不動。
這個方向真的打到創作者的痛點,它在解決的是「重做的成本」,不是再多塞一個花俏功能。不過這裡我要誠實講:這個單字編輯目前還是邀請制測試,不是人人馬上能用。但光是它願意往這裡做,就已經很有意思了。
情緒控制它也有。跟ElevenLabs一樣,你可以在文字裡埋標籤,叫它嘆氣、笑、輕聲說、帶點哭腔⋯⋯這對做角色、做對話、做有情緒的長內容很關鍵。
那「開放權重」跟「免費開源」到底差在哪?這點我特別想講清楚,因為很多人會搞混,也最容易被標題騙。
Drama 3的權重放在HuggingFace上、程式碼在GitHub上,但它用的是Fish Audio自己的社群授權:研究跟非商用免費;商用的話,只有在你(跟你的關係企業)年營收低於美金50萬的時候才免費,超過就要另外談授權。它也明文禁止未經同意的聲音克隆。
所以它不是那種「完全免費、隨你爽用」的開源。但對絕大多數的個人創作者、小團隊、自己在玩agent的人來說,這個門檻幾乎等於免費。這才是重點。
我也要幫大家降一下溫。它是一個35B的大模型(MoE架構,每次只動用其中一小塊參數),官方給的效能數字是單張H200顯卡、單串流下一秒解碼271幀。換句話說,它不是那種在你手機上毫秒回應的小東西,要跑得順是要有硬體的。如果你在網路上看到有人說它「毫秒級反應」,我查了官方沒有這樣講,先別當真。
但這些都不改變一件事:ElevenLabs那道靠閉源加訂閱築起來的收費護城河,今天真的被捅了一個洞。
對自己在建agent的人、對做長音頻的創作者來說,這是好消息。你多了一個選擇——一個不用每次破音就心痛燒credit的選擇。護城河裂了一條縫,水就會慢慢滲進來。接下來就看Fish Audio撐不撐得住、ElevenLabs要不要放下它那個讓人很有壓力的姿態了。
我會自己先抓來玩玩看,玩出心得再回來跟你說。
