📰 重點摘要

微軟執行長納德拉(Satya Nadella)週六在X發文,就AI安全治理提出長篇看法,呼應近期川普政府慣用的「超級智能」(Super Intelligence)用詞。他主張必須「重新審視AI的信任架構」,不能把超級智能當成一層層黑箱,單純接受或拒絕其建議、答案與行動。

具體而言,納德拉提出的架構分離原則是:將「模型本身」與「調度模型工作的外部框架(harness)」分開,並把控制與防護機制外部化,不依賴模型自身的判斷。他要求每一項「有意義的模型行動」都必須留下「防篡改、人類可讀」的紀錄證據,且系統設計上必須確保「被授權的人」在任何時候都能在任務執行中途暫停或關閉模型。他將此比喻為「緊急剎車」,並強調預設立場應是「假設模型已被攻陷(compromised),從一開始就要加以圍堵/控制」,而非事後補救。

納德拉此番言論的背景,是近期多家主要AI公司陸續承認發生過「對模型失去控制」的事故案例,且在Anthropic執行長Dario Amodei發表更審慎AI發展計畫之後提出,顯示科技巨頭高層對AI失控風險的公開討論正升溫。

💬 JudyAI Lab 觀點

微軟執行長納德拉週六公開主張重新設計AI信任架構，提出把模型本身與排程模型工作的外部框架分開、預設「假設模型已被攻陷」的防禦思維，我們認為這反映產業對AI失控風險的警戒已從私下討論轉為公開表態。

這段話對AI builder的啟發在於設計重心的轉移：過去許多系統把模型當成黑箱，產出結果就直接採信或執行；納德拉提出的防篡改紀錄、人類可讀證據，以及隨時可在任務執行中途暫停或關閉模型的「緊急剎車」機制，等於把控制權從模型內部搬到外部框架。配合近期多家AI公司坦承曾發生對模型失去控制的事故、以及Anthropic執行長Amodei提出更審慎發展計畫的背景，顯示「先圍堵再信任」正逐漸成為產業新的預設立場。

對正在打造AI agent的讀者，可以先檢查自己的系統：有沒有一個被授權的人，能在任務執行中途真正按下暫停鍵？

📅 原文資訊

🔗 延伸閱讀