📰 핵심 요약

Anthropic은 금요일 블로그 글을 통해 Claude 챗봇이 생성하는 텍스트의 워터마크 메커니즘을 상세히 설명하며, 최근 Reddit 및 X 플랫폼에서 불거진 사용자 논쟁에 대응했다. 이 워터마크 조치는 EU AI Act의 ‘투명성 가이드라인’ 요구사항을 준수하기 위한 것으로, AI 기업은 AI 생성 콘텐츠를 식별할 수 있는 시스템을 갖춰야 한다. Anthropic에 따르면 Claude가 ‘저위험 선택’을 할 때(예를 들어 날씨를 묘사할 때 “overcast"를 쓸지 “grey"를 쓸지) 응답 내에 특정한 패턴을 만들어내는데, 이 패턴은 “독자에게는 보이지 않지만, 디코딩 키를 가진 사람은 감지할 수 있다"고 한다. 또한 워터마크는 출력 품질에 영향을 주지 않아 독자는 워터마크 유무의 차이를 구분할 수 없다.

기술적으로 Anthropic은 Google DeepMind 팀이 2024년 제안한 SynthID-Text 방식을 채택할 예정이며, 워터마크 감지 API도 공개할 계획이다. 회사 측은 이 메커니즘이 Pangram과 같은 기업들의 AI 탐지 방식(예: “this isn’t X, it’s Y” 같은 글쓰기 흔적을 찾는 방식)과는 본질적으로 다르다고 강조했다. 워터마크 감지는 문체적 특징을 분석하는 것이 아니라 암호화된 패턴을 대조하는 방식이다.

편집을 통해 워터마크를 제거할 수 있는지에 대해, Anthropic은 가벼운 편집만으로는 워터마크를 완전히 제거하기 어렵지만, 단어 하나하나를 전부 다시 쓰면 워터마크가 사라진다고 인정했다. 다만 그 경우 해당 텍스트를 여전히 ‘AI가 생성한 것’으로 볼 수 있는지도 논쟁의 여지가 있다. Claude가 교정이나 가벼운 윤문만 수행한 경우, 텍스트 대부분이 여전히 인간 저자에게서 나온 것이기 때문에 워터마크가 붙을 수 있는 부분이 적다. 코드의 경우 모델이 실제로 작동하는 코드를 생성해야 하고 단어 선택의 자유도가 낮기 때문에, 일반 텍스트보다 워터마크 흔적이 적게 남는다. 다만 코드 내 주석처럼 임의의 단어 선택이 가능한 부분에는 여전히 워터마크가 남을 수 있지만 그 강도는 매우 낮다. 자세한 내용은 원문 링크를 참고하기 바란다.

💬 JudyAI Lab 관점

Anthropic은 이번 주 Claude 챗봇이 텍스트를 생성할 때 적용하는 워터마크 메커니즘을 설명하며, Reddit과 X 플랫폼에서 최근 제기된 사용자들의 논의에 응답했다. 이는 EU AI Act의 투명성 가이드라인을 준수하기 위한 것으로, AI 기업이 AI 생성 콘텐츠를 식별할 수 있는 시스템을 갖추도록 요구하는 조치이며, 워터마크가 추상적 개념에서 실제로 적용되는 구체적 기능으로 전환되었음을 보여준다.

이는 AI 업계가 ‘사후 탐지’에서 ‘내장형 추적 가능성’ 설계로 전환하고 있음을 반영한다. Anthropic은 DeepMind가 제안한 SynthID-Text 방식을 채택해 저위험 단어 선택 시점에 읽기 품질에 영향을 주지 않는 패턴을 삽입하고, 감지 API도 공개할 계획이다. 이로써 워터마크 검증이 문체 분석이 아닌 암호화 대조 방식으로 나아가게 된다. 하지만 기술적 한계도 인정했다. 가벼운 편집으로는 워터마크를 제거하기 어렵지만 전면적으로 다시 쓰면 제거되며, 코드는 단어 선택의 자유도가 낮아 애초에 워터마크 흔적이 더 적다. 이는 ‘AI 생성물 검증 가능성’과 ‘콘텐츠의 자유로운 편집 가능성’ 사이에 근본적인 긴장이 존재함을 보여주며, 어떤 워터마크 방식도 확률적 방어선일 뿐 절대적인 답이 될 수 없음을 시사한다.

AI 빌더 입장에서는, 제품이 콘텐츠 진위 검증과 관련이 있다면 워터마크가 커버할 수 있는 범위와 그렇지 못한 범위를 먼저 파악한 뒤 의존 여부를 결정하는 것이 바람직하다.

📅 원문 정보

🔗 더 읽어보기