📰 핵심 요약

아마존이 최근 희귀 서적을 대량으로 사들여 책등을 뜯어내고 내용을 스캔한 뒤 AI 모델 학습 데이터로 사용하고 있다는 사실이 드러났다. 이번 조사는 404 Media가 진행했으며, 기자가 희귀 서적 한 권에 추적 장치를 심어둔 결과 이 책이 결국 아마존의 라스베이거스 소재 시설로 들어간 것을 확인했다. 이 시설의 코드명은 VGT3이며, “책을 움켜쥔 공룡 발톱” 그림을 식별 마크로 사용하고 있다. 이에 대해 아마존은 404 Media에 회사가 “고객이 사용하는 제품과 서비스를 개선하기 위해 상업적 경로를 통해 책을 구매한다"고 답했다. 아마존 같은 기업이 대규모 언어 모델(LLM)을 학습시키려면 엄청난 양의 텍스트 데이터가 필요한데, 인터넷에서 얻을 수 있는 텍스트는 이미 거의 다 소진된 상태다(Anthropic조차 해적판 서적을 불법으로 도용했다는 의혹을 받은 적이 있다). 그래서 희귀 서적, 특히 절판되었거나 인터넷에서 아예 찾을 수 없는 판본이 새롭게 각광받는 학습 데이터 소스가 되고 있다. 이런 텍스트가 특히 귀중한 이유는 2022년 이전에 출판된 콘텐츠는 LLM이 생성한 결과물일 수 없기 때문이다. LLM이 AI가 생성한 텍스트로 자기 자신을 학습시키면 “모델 붕괴(model collapse)” 문제가 발생할 수 있는데, 이는 출력물이 AI 생성 텍스트를 지나치게 많이 흡수하면 품질이 점점 저하되는 현상이다.

💬 JudyAI Lab 코멘트

원문 요약에 따르면, 아마존 VGT3 시설이 희귀 서적을 파쇄해 AI 학습 데이터로 스캔하고 있다는 사실은 양질의 텍스트 데이터가 빠르게 고갈되고 있음을 보여준다.

우리가 주목하는 지점은 이 사례가 LLM 학습 데이터 소스의 구조적 전환을 보여준다는 것이다. 인터넷에서 얻을 수 있는 텍스트가 이미 여러 모델에 의해 반복적으로 학습된 상태에서, 2022년 이전에 출판되고 한 번도 온라인에 올라온 적 없는 희귀 서적은 희소 자산이 되고 있다. 이런 콘텐츠는 AI 생성 텍스트가 전혀 섞이지 않았다는 것을 보장할 수 있기 때문인데, 이는 학습 데이터가 AI 생성 콘텐츠로 오염되어 발생하는 “모델 붕괴” 문제를 피할 수 있게 해준다. 이는 또한 데이터 품질이 데이터 양을 대체해 모델 경쟁의 다음 단계에서 핵심 병목이 되고 있음을 보여주는데, 아마존 같은 거대 기업조차 실물 서적으로 돌아가 빈틈을 메우고 있는 상황이다.

AI 빌더 입장에서 이는 어떤 모델이나 데이터셋을 평가할 때든 학습 데이터의 출처와 시점을 한 번 더 물어보는 것이 좋다는 점을 일깨워준다. 이것이 파라미터 규모보다 오히려 품질을 더 잘 보여주는 경우가 많다.

📅 원문 정보

🔗 추천 글