📰 重點摘要

Anthropic宣布選定埃森哲（Accenture）作為首家「嵌入式評估者」，協助落實執行長Dario Amodei於9月12日提出的AI減速三步驟提案。Amodei的提案主張AI因「遞歸式自我改進」能力（AI具備打造下一代AI的能力）而發展速度過快，若不加以控制，可能超出人類理解與掌控系統的能力，進而帶來災難性風險。OpenAI執行長Sam Altman與SpaceX執行長Elon Musk對此提案表態正面，但輝達執行長Jensen Huang則不認同，認為此類監管沒有必要。提案的第一步是引入具「員工級存取權限」的獨立評估者，Anthropic已單方面承諾此事，此次與埃森哲及其AI事業部門Faculty合作,即是履行承諾的具體行動，內容包括模型評估與紅隊測試、對齊評估（alignment assessments）及安全防護測試。雙方預計未來五年各自至少投入10億美元於此專案。由於目前尚無現成的獨立評估資金機制，長期應由集資或政府資金支持，但基於急迫性，Anthropic將直接資助埃森哲的相關工作。此次合作為非獨家性質，Anthropic預告未來數週將宣布與其他評估機構的合作。埃森哲Faculty部門專長於為全球頂尖AI實驗室測試與評估模型，並打造安全合乎倫理的複雜AI系統。

💬 JudyAI Lab 觀點

Anthropic近日宣佈由埃森哲擔任首家「嵌入式評估者」，協助落實Dario Amodei提出的AI減速三步驟提案，這則訊息值得關注,因為它把「AI遞迴式自我改進帶來失控風險」的討論從口頭警告變成具體的獨立評估機制。

對AI builder來說,這反映出一個趨勢：安全評估正在從「事後稽核」走向「嵌入式、員工級存取」的常態化流程,而且業界對此看法分歧——Altman與Musk表態正面,Huang則認為監管沒有必要。這種分歧本身就說明,快速迭代與可控性之間的取捨還沒有共識,評估機制的設計(誰出資、誰執行、獨立性如何維持)會直接影響它是真的把關,還是流於形式。埃森哲與Anthropic各自承諾五年至少10億美元投入,也顯示這類基礎設施的建置成本遠高於外界想像。

給讀者的思考方向:下次評估自己使用或打造的AI系統時,不妨想想「誰在檢查這個系統」以及「這個檢查是否有實質存取許可權」。

📅 原文資訊

🔗 延伸閱讀