📰 핵심 요약

MosaicLeaks는 ‘심층 리서치형 AI 에이전트의 프라이버시 유출’을 다룬 새 연구로, ‘모자이크 효과’라는 위험 요소를 밝혔습니다. 에이전트가 로컬 사내 문서와 외부 네트워크 도구를 동시에 사용할 때, 각각 무해해 보이는 검색 쿼리들이 누적되면 외부 관찰자가 기업 기밀을 조합해낼 수 있다는 것입니다.

연구는 한 의료기관 사례로 설명합니다. 에이전트가 다단계 질문을 완수하기 위해 클라우드 마이그레이션 마일스톤, 보안 공개 사건, 영향받은 벤더를 차례로 검색했는데, 단 하나의 쿼리도 직접 기밀을 유출하지 않았지만, 관찰자는 전체 검색 기록을 통해 ‘MediConn이 2025년 1월 전에 인프라의 70%를 클라우드로 이전했다’는 사실을 추론할 수 있었습니다. 이 수치는 원래 사내 문서에만 존재했습니다.

연구팀은 세 가지 유출 단계를 정의했습니다. 의도 유출(에이전트가 어떤 문제를 연구하는지 예측), 답변 유출(검색 기록에서 사내 질문에 직접 답변), 완전 정보 유출(관찰자가 문제를 사전에 알지 못해도 능동적으로 사내 사실을 추론 가능)입니다.

이를 위해 연구진은 1,001개의 다중 홉 리서치 체인을 포함한 MosaicLeaks 평가 세트를 구축하고, 프라이버시 인식 심층 리서치 학습 방법인 PA-DR을 제안했습니다. 강화 학습으로 프라이버시 유출 인식을 도입한 방식입니다. 실험 결과, PA-DR은 엄격한 체인식 정답률을 48.7%에서 58.7%로 향상시키는 동시에, 답변 및 완전 정보 유출률을 34.0%에서 9.9%로 크게 낮췄습니다. 이는 작업 정확도와 프라이버시 보호를 동시에 달성할 수 있음을 보여줍니다.

💬 JudyAI Lab 관점

MosaicLeaks가 밝힌 ‘모자이크 효과’는 AI 에이전트의 프라이버시 위험이 다단계 쿼리의 누적 패턴 속에 숨어 있다는 점을 분명히 보여줍니다. 특정 단일 행동의 실수가 아닌 것입니다.

AI 빌더 입장에서 이 연구는 흔한 설계 맹점을 짚어냅니다. 프라이버시 보호는 보통 ‘접근 제어’에 집중하지만, 에이전트의 외부 쿼리 행위 자체도 유출 벡터라는 사실을 간과합니다. 연구가 정의한 세 가지 유출 단계 — 의도, 답변, 완전 정보 — 는 공격자가 파일을 훔치지 않아도 검색 기록만 관찰하면 기밀을 역으로 추론할 수 있음을 보여줍니다. 더욱 주목할 만한 점은 PA-DR 방법의 실험 결과입니다. 엄격한 체인식 정답률이 48.7%에서 58.7%로 오르는 동시에 유출률은 34.0%에서 9.9%로 낮아져, ‘보안은 반드시 정확도를 희생한다’는 직관을 깨뜨렸습니다.

다단계 리서치형 에이전트를 설계할 때, 먼저 이렇게 자문해 보세요. 누군가 에이전트의 모든 외부 쿼리를 완전히 기록한다면, 얼마나 많은 기밀을 복원할 수 있을까? 이 질문은 ‘데이터가 암호화되어 있는가’보다 먼저 생각해야 할 문제입니다.

📅 원문 정보

🔗 관련 글