📰 핵심 요약

OpenAI는 앞으로 몇 주 안에 EU 지역의 모든 요금제 ChatGPT 및 Codex 사용자가 생성한 텍스트에 보이지 않는 워터마크를 삽입한다고 발표했다. 이는 8월 2일 발효된 EU AI법의 투명성 규정을 준수하기 위한 조치다. 전 세계 API 개발자는 오늘부터 일부 모델에 한해 수동으로 활성화할 수 있으며, 기본값은 비활성화로 전 세계 강제 적용은 아니다. 워터마크는 눈에 보이는 기호가 아니라 모델의 단어 선택 확률을 미세 조정해 사람 눈으로는 알아챌 수 없지만 탐지기는 식별할 수 있는 패턴을 텍스트에 남기는 방식으로, 복사해서 붙여넣어도 사라지지 않으며 사용자 신원을 식별하지는 않는다. 활성화해도 성능에는 눈에 띄는 변화가 없다. OpenAI는 이와 함께 펜실베이니아대학교, 예일대학교 연구자들과 공동으로 작성한 기술 보고서 textGrain도 발표했는데, 암호 키를 이용해 다음 단어 예측 순서를 조정하고 이를 수백 번 미세 조정에 걸쳐 중첩시켜 탐지 가능한 패턴을 만들어내는 원리를 설명한다. 테스트 결과 워터마크는 편집으로 파괴될 수 있는 것으로 나타났다. 텍스트의 10%를 동의어로 바꾼 결과 탐지율이 약 92%에서 66%로 낮아졌으며, 짧은 글, 수학 답안, 번역문 역시 탐지가 더 어려웠다. 이 때문에 현재는 승인된 연구자와 전문 기관에만 탐지기 접근을 허용하고 있다. OpenAI는 또한 워터마크가 없다고 해서 그 내용이 인간이 작성한 것이라는 의미는 아니라고 강조했다. 이번 조치는 두 달 전 Anthropic이 Claude 텍스트에 전 세계적으로 워터마크를 도입한다고 발표한(일부 사용자의 반발을 불러일으킨) 직후에 나온 것이다.

💬 JudyAI Lab 의견

OpenAI는 8월 2일 발효된 EU AI법의 투명성 요건을 준수하기 위해 EU 지역 ChatGPT 및 Codex 사용자가 생성한 텍스트에 보이지 않는 워터마크를 도입할 예정이며, 전 세계 API 개발자는 수동으로 활성화할 수 있지만 기본값은 비활성화다.

이런 워터마크 방식은 AI 업계가 “추적 가능성"을 설계 개념으로 정립해 나가는 흐름을 보여준다. 눈에 보이는 표시가 아니라 단어 선택 확률을 미세 조정해 탐지기만 식별할 수 있는 통계적 패턴을 남기는 방식이며, 복사해서 붙여넣어도 사라지지 않는다. 하지만 원문 요약에서도 이런 기술의 현실적인 한계가 드러난다. 텍스트의 10%를 동의어로 바꾸기만 해도 탐지율이 92%에서 66%로 떨어지고, 짧은 글, 수학 답안, 번역문은 더더욱 탐지하기 어렵다. 이는 워터마크 같은 도구가 현재로서는 “사후 보조 판단” 수준이지 “절대적 증명"이 아니라는 점을 다시 한번 보여준다. AI 빌더라면 콘텐츠 출처 추적 메커니즘을 설계할 때 이런 취약성을 솔직하게 받아들여야 하며, 이를 만능 해결책으로 취급해서는 안 된다. 두 달 전 Anthropic이 이미 Claude 전체에 워터마크를 적용했고 이번에 OpenAI가 뒤따른 것을 보면, 이것이 선택 사항이 아니라 업계 표준 구성이 될 가능성이 커 보인다.

AI가 생성한 콘텐츠를 다루는 제품을 운영하고 있다면, 사용자가 텍스트를 편집하다가 의도치 않게 워터마크를 손상시킬 경우 시스템이 이를 어떻게 처리해야 할지 지금부터 고민해볼 필요가 있다.

📅 원문 정보

🔗 더 읽어보기