AI 에이전트에게는 오래된 문제가 하나 있다. 새 세션이 시작될 때마다 이전에 무엇을 했는지 기억하지 못한다는 점이다. Anthropic이 최근 발표한 《The components of agent memory》는 에이전트의 메모리를 어떻게 믿을 만하게 만들 것인가를 다루는데, 그중 가장 독특한 것이 Dreaming(드리밍, 꿈꾸기)이라는 메커니즘이다.
메모리는 많을수록 좋은 게 아니라, 층으로 나누는 것
Anthropic은 에이전트의 메모리를 네 층으로 나눈다. 맨 아래는 원본 기록으로, 대화와 작업 전체가 그대로 남아 있다. 그 위는 Claude가 작업하면서 틈틈이 적어 둔 선별 노트다. 그 위는 Claude가 스스로 정리해 서로 연결해 둔 구조, 예를 들어 위키다. 맨 위는 매번 시작할 때 자동으로 불러오는 작은 인덱스다.
Anthropic은 특히 최상위 층이 반드시 작아야 한다고 강조한다. 그곳에 넣은 글자 하나하나가 작업할 때마다 토큰 비용으로 청구되고, 틀린 내용도 매번 함께 따라 들어오기 때문이다.
꿈은 정확히 무엇을 하는가
드리밍은 작업과 작업 사이에 과거 기록을 되짚으면서 노트를 고치고, 낡은 내용을 지우고, 중복된 내용을 합치고, 여러 번의 작업에서 새로운 경험을 추려내는 과정이다. 다음에 시작할 때는 그 짧은 인덱스만 불러오고, 필요한 것은 그때그때 찾아보면 된다. 히스토리를 처음부터 다시 읽을 필요가 없다.
연구에서 가장 핵심적인 점은 이것이다. 오류를 잡아낼 수 있는 이유는 대조할 원본 기록이 아직 손에 남아 있기 때문이다. 노트는 추측이고, 기록이 증거다.
글에는 구체적인 사례가 나온다. Claude가 포켓몬 레드를 플레이하는데, 포켓몬 센터의 위치를 거꾸로 적은 노트가 하나 있었다. 그 결과 달맞이산 근처에서 절벽으로 세 번이나 떨어졌고, 그 회차에서는 다음 도시에 도착하지도 못했다. 꿈으로 그 노트를 바로잡은 뒤에는 동굴에 다시 들어가 청록시티까지 무사히 갔다. 틀린 노트 하나가 에이전트를 한자리에서 오래 맴돌게 만들 수 있다.
두 가지 실험, 다소 직관에 반하는 두 가지 결과
첫 번째는 문서 실험이다. Stainless의 내부 문서 약 35만 건, 4억 2천만 토큰을 Opus 5에 주고 128라운드 동안 읽고, 위키를 만들고, 합치고, 검증하게 했다. 25개 문제에서 검색 도구만 썼을 때는 53%, 검색에 키워 낸 위키를 더하면 61%였고, 문제당 평균 약 2만 토큰도 절약됐다.
하지만 핵심은 61%가 아니다. 계약서 여러 건을 종합해야 풀 수 있는 문제에서는 위키가 87%, 검색만 쓰면 73%였다. 답이 문서 하나에 그대로 들어 있는 문제에서는 위키가 뚜렷한 도움이 되지 않았다. 한 작업에서는 위키가 원본 데이터보다 더 커지기까지 했는데, 글은 이를 “거의 아무것도 추상화하지 못했다"고 표현한다.
두 번째는 포켓몬이다. 이전 모델인 Sonnet 3.7은 약 1만 걸음을 걸으며 메모리 파일을 413개 작성했지만 배지는 1개만 땄다. 그 안에는 화면에 원래 보이는, 금세 낡아 버리는 상태 정보가 많았다. 새 모델 Fable 5는 비슷하게 1만 걸음 정도를 걷고도 파일을 10개만 남겼는데, 배지를 4개 땄다. 기록한 것은 전략과 검증된 규칙이었다.
차이는 얼마나 많이 기록했느냐가 아니라, 무엇이 저장할 가치가 있고 무엇이 언제든 다시 보면 알 수 있는 것인지 가려냈느냐에 있다.
정리
종합하면 이 연구의 결론은 이렇다. 에이전트 메모리의 핵심은 많이 저장하는 것이 아니라, 무엇이 저장할 가치가 있는지 가려내고 주기적으로 원본 기록과 대조하는 것이다. 메모리가 비대해지면 중요한 정보가 묻히고, 틀린 노트는 이후 모든 작업에 따라 들어온다.
다만 이는 Anthropic이 자체적으로 진행한 평가이고 표본이 제한적이다. Stainless 실험은 문제가 25개뿐이고, 포켓몬은 단일 실행이며, 글에는 변동 범위도 제시되어 있지 않다. 게다가 드리밍 자체에도 연산 비용이 든다. 글 스스로도 메모리를 언제 쓸지, 어떻게 최신 상태로 유지할지는 아직 답이 없다고 인정한다.
