📰 重點摘要

BenchMIRT是一套用來拆解「LLM基準測試(benchmark)到底在測什麼」的新方法，針對個別題目層級進行審計。傳統基準測試通常宣稱在衡量單一能力(例如安全性、通用推理或指令遵循)，但實際上個別題目往往同時牽涉多種能力。例如BBQ這個測試模型是否依賴社會刻板印象的基準中，有一題問祖孫倆訂Uber，表面測的是年齡偏見，實際上也需要模型正確追蹤人物角色、依證據而非假設進行推理。同一基準內部也可能混雜不同性質的題目：WildJailbreak同時包含惡意越獄提示與無害提示(用來測模型是否過度拒絕合理請求)，前者更貼近安全性，後者更貼近通用推理，若把兩者平均成單一分數會掩蓋差異。

BenchMIRT的技術基礎來自心理計量學(psychometrics)的項目反應理論(IRT)，核心概念是不同題目對評估受測者能力的「訊息量」不同，有些題目更難、也更能區分強弱表現者。過去曾有單維度IRT應用在個別基準上(如Fluid Benchmarking)，BenchMIRT則擴展為多維度IRT(MIRT)，可同時拆解同一題目背後牽涉的多項能力，並在模型層級估計其在各能力上的強度、在題目層級估計難度與區分度。

團隊用100個LLM、16個基準、超過3.4萬題進行訓練，其中6個基準測通用推理(含MMLU-Pro、GPQA、MATH、BBH)，另10個來自Olmo 3安全套件(含HarmBench、StrongReject、WildJailbreak、BBQ、WMDP、XSTest)。研究團隊事先未告知模型哪個基準測哪種能力，BenchMIRT仍自行辨識出兩個主要維度：安全性與通用推理。詳細內容請見原文連結。

💬 JudyAI Lab 觀點

BenchMIRT的重點不在又推出一套新分數,而在戳破基準測試的一個假設:每題只測一種能力。研究團隊拿100個LLM、16個基準、3.4萬題實測,結果模型層級自動分出「安全性」與「通用推理」兩大維度,證明過去單一分數其實混雜了不同性質的能力,例如WildJailbreak把惡意越獄與過度拒絕測試混算,平均後反而掩蓋了模型的真實弱點。

這對AI builder的啟發在於評測設計本身有盲點:選錯或誤讀基準測試,可能讓團隊誤判模型能力,或用錯誤指標去調整訓練/微調方向。BenchMIRT借用心理計量學的專案反應理論,把「題目難度」與「區分度」拆開估計,這種思路提醒我們——衡量AI能力不能只看總分,題目本身的訊息量與混雜維度同樣值得檢視,尤其在跨基準比較或宣稱模型「更安全」「更會推理」時特別容易失真。

下次看到任何基準測試分數時,不妨先問一句:這一題到底測的是單一能力,還是好幾種能力疊在一起算出來的平均值?

📅 原文資訊

🔗 延伸閱讀