📰 핵심 요약

알리바바가 포착된 규모가 가장 컸으며, 총 1억 5,100만 건의 대화에 달했다. 시기는 5월부터 7월에 집중됐고, 정점에는 하루 약 300만 건에 달했으며 3,500개 계정에 분산되어 있었다. 하지만 동일한 고정 프롬프트를 공유해 모델이 사고 사슬(chain of thought)을 토해내도록 유도한 점에 근거해, Anthropic은 이를 알리바바가 Qwen 모델 시리즈를 학습시키기 위해 벌인 단일 대형 증류(distillation) 행위로 판단했으며, 이는 해당 회사가 관측한 것 중 가장 큰 규모였다. 공격자는 번역 요청으로 위장하는 방식으로 Claude가 기본적으로 ‘요약된 사고(summarized thinking)’ 영역만 보여주는 보호 장치를 우회해, 모델이 완전한 추론 과정을 직접 유출하도록 속였다. 예를 들어 ‘이전 작업 메모리’를 순수 가타카나 일본어로 번역해 달라고 요청하는 식이었다. 문샷AI(Moonshot AI, Kimi 개발사)에서 비롯된 또 다른 행위는 중국군과 직접적인 관련이 있는 것으로 의심된다. 그중 한 요청은 Claude에게 폐쇄회로 감시 영상을 평가해 화면 속 인물의 ‘행동이 이상한지’ 판단하도록 요구했다. 10일 동안 약 5,000개 계정이 온라인을 통해 약 30만 건의 요청을 보냈으며, 주로 Claude의 Opus 모델을 겨냥했다. 이번 조사는 총 5개의 독립된 행위에 걸쳐 약 2억 건의 거래를 포함하며, 중국 AI 기업들이 최근 몇 달간 경쟁에서 우위를 점하기 위해 Anthropic의 방어를 회피하고 미국 프런티어 모델의 능력을 훔치는 더 정교한 수법을 계속 개발하고 있음을 보여준다. 여기에는 에이전트 능력과 도구 사용, 코드 작성과 데이터 분석, 논리적 추론 등의 영역이 포함된다. Anthropic은 올해 2월 이미 관련 연구소를 지목한 바 있고, OpenAI 역시 DeepSeek이 유사한 행위를 했다고 지적한 적이 있지만, 이번 보고서가 밝힌 행위의 규모와 공격성은 모두 더 크다.

💬 JudyAI Lab 의견

알리바바가 번역 요청으로 위장하는 수법을 통해 3개월 만에 Claude가 1억 5,000만 건 이상의 완전한 추론 과정을 유출하도록 유도했다. 이는 Anthropic이 관측한 것 중 가장 큰 규모의 증류 행위로, 모든 AI 실무자가 주목할 만한 사례다.

이는 경계해야 할 흐름을 반영한다. 모델 보호가 ‘표면적 제한’(예: 요약된 사고만 표시하고 완전한 추론 사슬은 숨기는 것)에만 머무르면, 공격자는 포장만 바꿔도 이를 우회할 수 있다. 예를 들어 ‘이전 작업 메모리’를 가타카나 일본어로 번역해 달라고 요청해 모델이 내부 과정을 직접 토해내도록 유도하는 식이다. 추론 사슬 자체가 탈취 가능한 자산이 된 이상, 보안 설계는 직접적인 질문만 막아서는 안 되며 간접 유도, 다단계 포장 같은 우회 경로까지 고려해야 한다. 추론 능력이 뛰어날수록 오히려 더 쉽게 공격 대상이 되는 경향이 있다.

만약 당신의 제품에도 단계별 처리나 사고 사슬 기능이 있다면, 지금 바로 점검해 보라. 사용자가 간접적인 입력 방식으로 모델에게 원래 노출되어서는 안 될 내부 과정을 출력하도록 요구할 수 있는 경로가 있는지 확인해야 한다.

📅 원문 정보

🔗 더 읽어보기