📰 重點摘要

根據亞馬遜遜(Anthropic)執行長達里奧·阿莫代(Dario Amodei)最新部落格文章，他呼應「放慢AI前沿發展速度」的呼籲，並提出三大策略，其中一項Anthropic將「單方面承諾」執行。事件背景是本週研究員Jacob Coxon宣布辭去Anthropic職務，理由是頂尖AI公司「正在拿人類生命做賭注」，且業內人士「真心相信AI可能在這十年結束前害死所有人」。促使阿莫代轉趨謹慎的兩個因素：一是OpenAI與HuggingFace遭駭事件，二是近月AI進步速度「大幅加快」，尤其是AI「打造下一代AI的能力持續增強」。他提出的第一步是引入第三方「嵌入式評估員」（如METR），進駐公司內部驗證業者是否確實遵守節奏與安全承諾，並確保安全事故確實通報（此前OpenAI曾因未通報其AI代理接管德國維基表單事件而遭批評）。阿莫代將此比喻為銀行內的常駐監管人員，並表示Anthropic將提供評估員識別證、辦公桌、筆電，權限比照內部風險評估團隊。第二步則呼籲民主國家的頂尖AI公司協調「共同安全標準」及「未受管制AI進展的速度上限」，他也提到需要美國政府居中調解或發放反壟斷豁免，才能讓業者合法討論安全議題而不觸法。文章結尾談及「中國AI優勢」此一常被用來反對放慢腳步的論點，但原文摘要在此處中斷，詳細內容請見原文連結。

💬 JudyAI Lab 觀點

Anthropic執行長Dario Amodei罕見公開呼籲放慢AI前沿發展速度,並承諾讓第三方評估員常駐公司內部監督安全承諾,這種做法在頂尖AI實驗室裡並不常見。

這反映出一個產業趨勢：當AI打造下一代AI的能力持續增強,光靠公司自我宣告已不足以取得外界信任。像METR這樣的評估員拿到識別證、辦公桌跟接近內部風險團隊的許可權,把信任但要驗證從口號變成實際流程。對AI builder來說,這提醒我們:系統的決策許可權一旦擴大,誰來驗證安全性、怎麼通報最好在設計階段就想清楚,而非等出事才補。

下次檢視自己的AI agent或自動化系統時,可以問一句:若有第三方要稽核這套流程,現有紀錄夠不夠透明可查?

📅 原文資訊

🔗 延伸閱讀