📰 重點摘要

語音AI正快速取代文字成為人機互動的主要介面,涵蓋客服、醫療、教育、娛樂與個人助理等場景。過去幾年語音模型進步顯著,詞錯誤率持續下降,延遲已達到接近真人對話的速度,許多既有評測基準也逐漸逼近飽和。但實際使用者仍能感受到語音AI「哪裡怪怪的」——模型在對話過程中可能聽起來像換了個人、漏掉猶豫或不確定的語氣、在腔調、噪音或情緒化語音上表現不佳。這些缺陷在只看延遲與詞錯誤率的評測中很容易被忽略。

為此,團隊打造了 Real World VoiceEQ 評測基準,專門評估語音互動的「人味品質」,檢驗語音系統能否辨識、產出並回應逐字稿無法呈現的聲音資訊，包括語氣、情緒、說話者身分與背景情境。這套基準涵蓋超過40個主流商用與開源語音模型,測試範圍橫跨自動語音辨識(ASR)、文字轉語音(TTS)、語音對語音(S2S)與語音理解四大類,共15個以上評測維度、逾60項指標。

該基準建立於超過100萬筆真人評分之上,涵蓋不同族群、說話風格與聲學環境,其中包含78.5萬筆TTS評分與4.8萬筆STS評分,是目前規模最大的語音AI人工評測之一。所有評測均透過名為 Kairos 的語音原生評測平台執行,同一套基礎設施也開放給前沿AI實驗室與企業客製化評測、找出生產環境語音系統的具體失效模式、產生人類偏好資料,並用於強化學習與人類回饋訓練。文中並指出,單一「最佳」語音模型的時代正在讓位給各具專長的模型組合——有的模型擅長精準覆誦訂位代碼、銀行帳號或複雜藥名,卻在情緒表達上略遜一籌;另一些模型聽起來自然生動,但在精確度導向的任務上較不可靠。

💬 JudyAI Lab 觀點

JudyAI Lab不做語音AI研究,但這則訊息值得AI builder留意——語音互動的「品質」評測正從詞錯誤率轉向更難量化的「人味」。

延遲跟辨識準確率過去是語音AI的主戰場,如今這兩項指標已逼近飽和,新的評測基準轉而檢驗模型能否維持語氣一致、辨識情緒、處理腔調與噪音——這些逐字稿看不出來的細節,才是使用者「感覺怪怪的」真正來源。超過100萬筆真人評分背後傳達一個訊號:業界正承認語音AI沒有單一「最強模型」,而是精準覆誦(訂位程式碼、帳號、藥名)與自然表達(情緒、語氣)這兩種能力互有取捨,產品設計必須依場景挑選甚至組合不同模型,而非追求一個全能解法。

對正在打造語音相關產品的builder,下次選型時不妨先問:這個場景要的是「準」還是「像人」,兩者常無法兼得。

📅 原文資訊

🔗 延伸閱讀