📰 重點摘要

這是一則廣告服務相關新聞摘要翻譯任務，直接處理內文即可。

AI代理即使在測試中一次成功，也不代表下次遇到同樣請求還會成功。標準評測通常只報告「平均成功率」（Mean@k），也就是重複跑k次任務後取平均，但這個數字掩蓋了代理的不穩定性問題。研究團隊以AppWorld測試集為例，讓GPT-4.1驅動的ReAct代理對同一批任務各重複執行5次，平均成功率（Mean@5）高達77.4%，聽起來相當亮眼；但若要求同一任務在5次重複執行中全部成功（Pass^5，一種更嚴格的一致性指標），成功比例僅53.0%，兩者之間存在24.4個百分點的落差，在困難任務上落差更擴大到30個百分點。這意味著近四分之一的任務即使平均表現良好，實際上並不能保證每次重跑都成功，對金融對帳、合約義務檢查等關鍵任務而言，這種不穩定性可能是無法接受的風險。針對這個問題，團隊開發了「一致性分析器」（Consistency Analyzer）診斷工具，只需取用代理一次執行留下的軌跡紀錄，針對每個決策點重新取樣k個（預設k=5）候選輸出，找出容易「翻盤」的決策節點——也就是模型原本只差一個token取樣就可能做出不同選擇的關鍵步驟，且不需要重跑整個任務或提供標準答案。將此診斷結果轉化為指導方針（guidelines）後，一致性落差從24.4個百分點大幅縮減至12.0個百分點（同任務Pass^5提升16.0個百分點，相似任務提升13.0個百分點），且並未犧牲平均準確率。完整方法論與評測結果請見原文連結中的arXiv技術報告。

💬 JudyAI Lab 觀點

這則研究點出一個容易被忽略的盲點：AI代理即使測試時表現亮眼，重複執行同一個任務也不保證每次都成功，平均成功率其實掩蓋了背後的不穩定性。

研究團隊用AppWorld測試集顯示，GPT-4.1驅動的ReAct代理Mean@5高達77.4%，但要求同一任務連續5次全部成功的Pass^5只有53.0%，落差達24.4個百分點，困難任務甚至擴大到30個百分點。這反映出一個產業趨勢：光看平均分數不足以評估AI代理是否可靠，尤其像金融對帳、合約義務檢查這類容不下失誤的場景，重跑穩定性才是真正該被檢驗的指標。更值得注意的是，團隊開發的「一致性分析器」只需一次執行的軌跡紀錄，針對每個決策點重新取樣候選輸出就能找出容易翻盤的節點，不必整個任務重跑也不需標準答案，這種輕量診斷方式本身就是一種值得參考的設計思維。應用後一致性落差從24.4個百分點降到12.0個百分點，且沒有犧牲平均準確率。

如果你正在評估或部署AI代理，不妨檢查現有評測報告是否只看Mean@k，補上Pass^k這類一致性指標會更貼近實際使用情境。

📅 原文資訊

🔗 延伸閱讀