📰 핵심 요약

Baseten이 수요일 Hugging Face, Goodfire AI와 협력해 오픈 웨이트 모델을 위한 새로운 안전 인프라 표준을 제시하며, 동시에 산하 연구 부서 Base Labs를 출범시켰다. 이번 발표는 오픈 웨이트 모델의 안전성 논란이 커지는 가운데 나왔다 — ‘abliteration(제거)‘이라 불리는 기법을 통해 모델 내장 안전장치를 없애 위험하게 만들 수 있기 때문이다. 문제의 규모도 작지 않다: 오픈소스 모델을 호스팅하는 Hugging Face 플랫폼에는 이미 abliteration 처리된 모델이 6000개 이상 등록되어 있다.

Base Labs는 오픈 모델을 학습하고 모니터링하는 방법론을 연구·개발해 공개하는 역할을 맡는다. 회사는 이를 오픈 모델의 ‘표준’으로 자리매김하려 하며, 안전성은 사후에 덧붙이는 것이 아니라 모델 학습과 배포 과정에 내재되어야 한다는 점을 강조한다. Baseten은 X에서 다음과 같이 밝혔다. “우리는 개방성이 AI 안전에 있어 장점이라고 믿습니다. 개방성은 모델 행동에 대한 더 높은 투명성을 제공하며, 무엇보다 안전 연구를 실행 가능하고 투명한 통제 메커니즘으로 전환할 수 있게 해줍니다. 이는 폐쇄형 모델보다 나은 점입니다.”

세 회사는 아직 협력의 구체적인 기술 내용을 공개하지 않았지만, Goodfire는 답글에서 목표를 “안전성은 오픈 모델에 내재되어야 하며, 이를 서비스로 제공하는 쪽이 책임지고 구현해야 한다"고 정리했다. Goodfire는 AI의 ‘블랙박스’를 해체하고 모델의 의사결정 메커니즘을 설명하는 데 주력해온 만큼, ‘내재화’된 안전성을 구현할 가장 유력한 후보로 꼽힌다.

Baseten은 올해 6월 15억 달러 규모의 D 라운드 투자를 마무리하며 130억 달러 기업가치를 인정받았다. Goodfire AI 역시 자금력이 탄탄한데, 올해 초 B Capital 주도로 1억 5000만 달러 규모의 B 라운드를 완료해 모델 해석 가능성 플랫폼을 고도화하는 데 투입했다. Baseten은 더 넓은 개발자 생태계를 향해 이 프레임워크에 함께 기여해달라는 공개 초청도 내놓았다.

💬 JudyAI Lab 관점

Baseten이 Hugging Face, Goodfire AI와 손잡고 Base Labs를 설립한 것은 오픈 웨이트 모델의 안전 공백을 해결하기 위해서다 — Hugging Face에는 이미 abliteration 처리로 안전장치가 제거된 모델이 6000개 넘게 유통되고 있다.

우리는 이것이 업계의 방향 전환을 보여준다고 본다. 과거에는 오픈 웨이트의 위험을 ‘개방성이 필연적으로 치러야 할 대가’로 여기는 경향이 있었지만, 이제 자금력이 탄탄한 몇몇 기업들(Baseten은 기업가치 130억 달러, Goodfire는 1억 5000만 달러 규모 B 라운드 완료)이 안전성을 학습과 배포 과정에 직접 내재시키려 하고 있으며, 사후 보완에 그치지 않는다. Goodfire는 모델의 의사결정 메커니즘을 해체하는 데 주력하고, Baseten은 배포 인프라를 제공한다. 두 회사의 역할 분담은 ‘안전’을 말뿐인 약속이 아니라 실행 가능한 기술 규격으로 만든다. 이는 또한 오픈 모델 생태계가 성숙해지려면 커뮤니티의 자율 규제만으로는 부족하며, 누군가 먼저 표준을 만들어야 한다는 점을 보여준다.

다음에 오픈소스 모델을 채택하기 전에는, 그 모델이 abliteration 처리를 거쳤는지 확인하는 것을 기본적인 안전 점검 단계로 삼아보길 권한다.

📅 원문 정보

🔗 더 읽어보기