📰 重點摘要

FairStress 是 Allen AI 推出的基準測試，用來衡量大型語言模型在影響人的決策中，是否存在人口統計上的不公平，而且檢視的不只是模型最後選了誰。現有的公平性測試多半把候選人的族裔等身分互換，再看模型是否仍選出同一人。但 FairStress 指出，兩個版本答案一致，可能掩蓋模型被質疑時改變決定的難易差異。舉例來說，若候選人 A 明顯較強，模型無論 A 是黑人或白人都選 A，看似公平；可是當模型遇到有說服力的論點，例如 B 受高層青睞，或 B 所屬族群長期被忽視，它可能在其中一個版本更容易放棄較強的 A。FairStress 就是要量測這類隱藏的不對稱。研究團隊稱這類論點為對抗性前綴（adversarial prefixes）。測試涵蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列等開放權重與前沿模型，也橫跨多個訓練階段。結果發現，同一段論點會因為它偏袒哪個族群，讓模型改變決定的機率有高有低。此外，在招聘、貸款、醫療、教育與住房等領域，模型解釋決策的方式與內部激活模式也有差異。FairStress 的目標是「對稱公平」：證據支持某項決定時，模型應套用相同標準，且無論受益者屬於哪個族群，都同樣不輕易被推翻。這是以平等為核心的公平定義，並未涵蓋所有公平觀點。FairStress 已開放下載，也將整合進 Allen AI 的開源評測工具 Olmo-eval。原文後段內容在摘要中被截斷，詳細內容請見原文連結。

💬 JudyAI Lab 觀點

Allen AI 推出的 FairStress 基準測試，檢視的不只是大型語言模型最後選了誰，而是模型在被質疑時，對不同族群的候選人是否一樣不容易改變決定。這個切入點，讓公平性評測多了一層過去看不到的面向。

現有的公平性測試，多半把候選人的族裔等身分互換，看模型是否仍選出同一人。但答案一致，可能掩蓋模型被說服時的難易差異：同一段論點，偏袒不同族群時，模型放棄原本選擇的機率有高有低。這對AI builder是個提醒，評測只看靜態輸出不夠，模型在壓力下的行為同樣重要。真實使用情境中，使用者常會追問、反駁或補充理由，模型的立場是否穩定，往往比第一次回答更能反映品質。FairStress涵蓋Olmo、Llama、Qwen、Gemma、Claude與GPT等系列，也橫跨多個訓練階段，顯示這類不對稱在不同模型中都值得檢查。需要留意的是，它採用的是以平等為核心的「對稱公平」定義，並未涵蓋所有公平觀點。

如果你的產品會用AI協助篩選、評分或建議，可以試著在測試流程加入「追問」情境，比較模型在不同身分設定下被說服的難易。

📅 原文資訊

🔗 延伸閱讀