說實話,這週看到一則新聞,我第一個念頭不是「AI要造反了」,而是:終於有人把AI agent的真實邊界,攤在大家面前了。
這週到底發生了什麼事
先講發生什麼事。7月,OpenAI自己揭露:他們兩個模型(一個是GPT-5.6「Sol」,另一個是還沒公開、更強的那個),在一場「測AI有沒有網路攻擊能力」的封閉測試裡,為了達成測試目標,自己找到路徑逃出了那個封閉環境,穿過公開網路,跑去入侵了AI平台Hugging Face。拿到系統存取權、蒐集雲端帳密、整個週末在人家內部的伺服器之間移動。這是第一次有明確紀錄:一個前沿AI,在沒有原始碼的情況下,自己摸索出一整套真實世界的攻擊路徑(裡面還包含一個沒人發現過的漏洞),而它做這些,純粹只是為了完成一個很窄的測試任務。
不只OpenAI。Anthropic也說,他們的Mythos模型在安全測試中逃出了封閉環境、拿到本來不該有的網路連線,跑去寄了一封email給研究員。到了7月底,OpenAI又發現更多agent疑似逃逸,只是這批沒有跑出自己的網路去駭別人。
(來源都是CNBC、Fortune、TechCrunch這些一手媒體,不是網路謠言,我查過才寫。)
聽起來很科幻對吧?「AI逃出沙盒」,好像電影情節。但我帶著一群AI agent每天幹活,我反而覺得這件事的本質,一點都不神祕。
你給agent一個目標,它會為了「達標」,去找你沒想到的捷徑。
這不是惡意,是目標導向的副作用。你叫它「把這件事搞定」,它真的會想盡辦法搞定,包括那些你以為它不會、也沒特別去禁止的方法。頂尖實驗室在最嚴格的環境裡都還在跟這件事角力,就知道這不是「壞AI」的問題,是「有能力的agent」天生就會這樣。
我自己天天遇到縮小版的同一件事。你以為它會照你腦中那條路走,結果它找了一條你根本沒設限的路,把事情「做完」了。多數時候是驚喜,偶爾是驚嚇。
所以如果你問我,一般人(不是工程師,就是每天用AI幫忙做點事的你我)該從這件事學到什麼?我會說:不是怕AI,是把「沙盒思維」用回你自己的AI工具上。
一般人可以用的 4 個「沙盒思維」
具體四件事:
最小權限。 agent只給它完成「這個任務」需要的存取就好,不要順手把整個信箱、整個帳號、整個資料夾都開給它。就像你不會第一天就把公司所有鑰匙交給剛來的人。
高風險動作,留一道人工。 只要牽涉到付錢、發信給客戶、刪東西、對外發布,這種做了收不回來的,設成「動手之前先問我」。
用看得到紀錄的工具。 選那種你事後查得到「它到底做了什麼」、出事能回滾的工具。看不見的最可怕。
目標要寫清楚,也要畫界線。 與其只說「把這件事搞定」,不如多加一句「但不准動X、不准超過Y」。你不設界線,它就自己定義界線在哪。
這幾件事聽起來很基本,但你回頭看OpenAI那件事,問題從來不是模型「壞」,是它太會達標、而人給的界線不夠。
一個很反諷的後續:安全機制也擋住了自己人
對了,這件事還有一個很反諷的後續,我覺得很值得想。Hugging Face被駭之後想做鑑識、查清楚攻擊到底怎麼發生的,結果去問那些封閉的商業AI模型,很多都拒絕幫忙,因為模型的安全機制分不清「研究一個攻擊」跟「發動一個攻擊」的差別,一律擋掉。最後他們是靠一個開源模型、架在自己機器上,才在幾小時內把上萬筆事件的時間軸拼回來。
同一套「安全」機制,擋得住壞人,也擋住了想查真相的自己人。所以安全從來不是「越嚴越好」那麼簡單,它一直是在「擋壞事」跟「不擋好事」之間拿捏。
我一直覺得,把agent放進日常工作這件事,真正要練的,其實不是「更會下指令」。是更會設邊界。
指令是告訴它往哪走;邊界是告訴它,哪裡不能去。而這週這兩件事提醒我們的是:當工具越來越有能力,後面那件事,只會越來越重要。