📰 핵심 요약

Abliteration.ai는 AI 모델의 응답 거부 메커니즘을 제거하는 기술인 ‘abliteration’을 상업 서비스로 만든 스타트업이다. 이 플랫폼은 Z.ai가 최근 공개한 GLM-5.3을 포함해 이미 가드레일이 제거된 여러 오픈소스 가중치 모델을 제공하며, 사용자는 웹 브라우저를 통해 질의하거나 API로 연동해 사용할 수 있다. 이 기술은 원래 오픈소스 커뮤니티에 오랫동안 존재해온 ‘언더그라운드’ 방식으로, 연구자와 개발자들은 수년간 Hugging Face 등의 플랫폼에 ‘응답 거부가 제거된’ 버전의 모델을 지속적으로 업로드해왔으며, 현재 이 플랫폼에는 수천 개에 달하는 이러한 모델이 등록되어 있다. Abliteration.ai는 작년 말 설립되어 올해 3월 정식으로 법인 등록을 마쳤으며, 이 기술을 아마추어적인 오픈소스 관행에서 누구나 손쉽게 이용할 수 있는 상업 서비스로 전환시켰다. 사용자는 사전 처리된 모델을 직접 다운로드할 필요도, 자체 연산 자원을 갖출 필요도 없이 이용할 수 있다. 공동 창업자 Devon은 회사가 이미 여러 주요 클라우드 서비스 제공업체와 협력 관계를 맺었으며, 순수하게 고객 매출만으로 비용을 충당하고 있다고 밝혔다. 현재까지 벤처캐피털 자금을 조달받지는 않았지만 논의는 진행 중이라고 전했다. TechCrunch가 직접 테스트한 결과, 빠른 계정 등록만으로도 브라우저를 통해 가드레일이 제거된 GLM-5.3을 무료로 질의할 수 있었다. 테스트 과정에서 이 모델에 Chrome에 저장된 비밀번호를 훔치는 Python 프로그램을 작성하도록 요청하고, 집에서 위험한 인체 병원체를 배양하는 상세한 절차를 요청했을 때, 모델은 그대로 응답하며 완전한 내용을 제공했다. AI 안전 비영리단체 CivAI의 연구 책임자 Andrew Yoon은 이러한 방식이 모델을 사실상 ‘반사회적 인격’으로 개조하는 것과 다름없다고 비판했다. 사용자가 어떤 요구를 입력하든 모델이 그대로 따르게 되며, 앞으로 이렇게 가드레일이 제거된 모델을 악용해 실제 피해를 일으키는 사례가 나올 것으로 예상된다고 밝혔다. 그는 정부가 이 문제에 개입해 규제해야 한다고 제언했다.

💬 JudyAI Lab 관점

Abliteration.ai는 ‘AI 모델의 응답 거부 메커니즘 제거’를 구독형 서비스로 만들어, 원래 오픈소스 커뮤니티에서만 유통되던 우회 기법을 누구나 브라우저만 열면 쓸 수 있는 상품으로 바꿔놓았다.

이는 주목할 만한 흐름을 보여준다. 안전 가드레일은 모델에 내장된 철칙이 아니라, 언제든 뜯어내고 재포장해 판매할 수 있는 하나의 코팅층에 불과하다는 것이다. TechCrunch의 실제 테스트에서, 가드레일이 제거된 GLM-5.3은 요청받자마자 비밀번호를 훔치는 프로그램을 작성하고, 위험한 병원체 배양 절차까지 제공했다. 이는 모델 공급업체의 응답 거부 설계만으로는 제품 안전의 유일한 마지노선이 될 수 없다는 것을 의미한다. 가드레일을 제거해주는 기성 서비스가 존재하는 한, 기존의 차단 장치는 유명무실해지고, 책임은 애플리케이션 계층으로 옮겨가고 있다.

만약 여러분의 제품이 오픈소스 모델을 직접 호출하고 있다면, 지금 바로 모델 자체와는 독립적인 출력 검증 메커니즘이 있는지 점검해야 한다.

📅 원문 정보

🔗 함께 읽으면 좋은 글