AI Agent有個老問題:每次新的工作階段開始,前一次做過什麼就不記得了。Anthropic最近發表的《The components of agent memory》,談的就是怎麼讓Agent的記憶變得可靠,其中最特別的是一個叫Dreaming(做夢)的機制。
記憶不是越多越好,是分層
Anthropic把Agent的記憶拆成四層。最底下是原始紀錄,整場對話和操作都在。往上是Claude工作時隨手記的精選筆記。再往上是它自己整理出來、彼此連結的結構,例如Wiki。最上面是每次啟動都會自動載入的一小份索引。
他們特別強調最上層一定要小。因為放進去的每個字,每一次工作都要付一次token,錯的內容也會跟著進每一次。
做夢到底在做什麼
Dreaming是在任務之間,回頭翻歷史紀錄,把筆記修正、刪掉過時的、合併重複的,再從好幾次任務裡提煉出新的經驗。下次啟動,只要載入那份短索引,需要什麼再去查,不用把歷史從頭讀一遍。
研究裡最關鍵的一點是:它能抓錯,是因為手上還留著原始紀錄可以對照。筆記是推測,紀錄才是證據。
文章裡有個具體例子。Claude玩寶可夢紅,有一則筆記把寶可夢中心的位置寫反了,結果它在月見山附近掉下懸崖三次,那一輪甚至沒走到下一個城市。做夢修正那則筆記之後,它重新進洞穴,順利到了華藍市。一則錯的筆記,就能讓一個Agent原地繞很久。
兩個實驗,兩個有點反直覺的結果
第一個是文件實驗。他們拿Stainless的內部文件,大約35萬份、4.2億個token,讓Opus 5跑128輪,不斷讀、建Wiki、合併、核對。25道題,只給搜尋工具是53%,搜尋加上養出來的Wiki是61%,每題還平均省下約2萬個token。
但重點不在61。需要綜合好幾份合約才答得出來的題,Wiki是87%,純搜尋是73%。答案就躺在單一文件裡的題,Wiki沒有明顯幫助。有一個任務的Wiki甚至長到比原始資料還大,文章自己的說法是「幾乎什麼都沒有抽象化」。
第二個是寶可夢。舊的Sonnet 3.7大約走一萬步,寫了413份記憶檔,只拿到1枚徽章,裡面很多是畫面上本來就看得到、很快就過期的狀態。新的Fable 5同樣一萬步左右,只留10份檔案,拿到4枚徽章,記的是策略和驗證過的規則。
差別不在記多少,在於分得出什麼值得存、什麼隨時重看就有。
小結
整體來看,這份研究的結論是:Agent記憶的重點不是存得多,而是分得出什麼值得存,並且定期拿原始紀錄去核對。記憶太肥會埋掉重要資訊,錯的筆記還會帶進之後每一次工作。
不過這是Anthropic自家做的評測,樣本有限:Stainless實驗只有25道題,寶可夢是單次執行,文章也沒有給變異範圍,而且Dreaming本身要花算力。文章自己也承認,什麼時候寫記憶、怎麼保持更新,都還沒有答案。
