📰 핵심 요약

앤트로픽이 첫 번째 ‘임베디드 평가자’로 액센추어(Accenture)를 선정했다고 발표했다. 이는 CEO 다리오 아모데이가 9월 12일 제시한 AI 속도조절 3단계 제안을 이행하기 위한 조치다. 아모데이의 제안은 AI가 ‘재귀적 자기 개선’ 능력, 즉 AI가 차세대 AI를 만들어낼 수 있는 능력 때문에 지나치게 빠르게 발전하고 있으며, 통제하지 않으면 인간이 시스템을 이해하고 통제할 수 있는 범위를 벗어나 재앙적 위험을 초래할 수 있다고 주장한다. 오픈AI CEO 샘 알트먼과 스페이스X CEO 일론 머스크는 이 제안에 긍정적인 입장을 보였지만, 엔비디아 CEO 젠슨 황은 이런 종류의 규제가 불필요하다며 동의하지 않았다. 제안의 첫 단계는 ‘직원 수준의 접근 권한’을 가진 독립 평가자를 도입하는 것으로, 앤트로픽은 이미 이를 일방적으로 약속한 바 있다. 이번 액센추어 및 그 AI 사업부 팩틀리(Faculty)와의 협력은 이 약속을 이행하는 구체적인 조치로, 모델 평가 및 레드팀 테스트, 정렬 평가(alignment assessments), 안전장치 테스트 등을 포함한다. 양측은 향후 5년간 각각 최소 10억 달러를 이 프로젝트에 투입할 계획이다. 현재 독립 평가를 위한 기존 자금 조달 메커니즘이 없기 때문에, 장기적으로는 공동 모금이나 정부 자금 지원을 받아야 하지만, 시급성을 고려해 앤트로픽이 액센추어의 관련 작업에 직접 자금을 지원할 예정이다. 이번 협력은 독점 계약이 아니며, 앤트로픽은 향후 몇 주 안에 다른 평가 기관과의 협력도 발표할 예정이라고 밝혔다. 액센추어의 팩틀리 부서는 전 세계 최상위 AI 연구소를 위한 모델 테스트 및 평가, 안전하고 윤리적인 복잡 AI 시스템 구축을 전문으로 한다.

💬 JudyAI Lab 시각

앤트로픽이 최근 액센추어를 첫 번째 ‘임베디드 평가자’로 지정해 다리오 아모데이가 제시한 AI 속도조절 3단계 제안을 이행하도록 했다는 소식은 주목할 만하다. 이는 ‘AI의 재귀적 자기 개선이 통제 불능 위험을 초래한다’는 논의를 단순한 구두 경고에서 구체적인 독립 평가 메커니즘으로 전환시켰기 때문이다.

AI 빌더 입장에서 볼 때, 이는 안전성 평가가 ‘사후 감사’에서 ‘임베디드형, 직원 수준 접근’을 갖춘 상시 프로세스로 옮겨가는 흐름을 보여준다. 업계 내에서도 이에 대한 의견은 갈린다 — 알트먼과 머스크는 긍정적인 입장을 보인 반면, 황은 이런 규제가 불필요하다고 본다. 이러한 의견 차이 자체가, 빠른 반복 개발과 통제 가능성 사이의 트레이드오프에 아직 업계 공감대가 형성되지 않았음을 보여준다. 평가 메커니즘을 어떻게 설계하느냐(누가 자금을 대고, 누가 실행하며, 독립성을 어떻게 유지하는가)가 이것이 실질적인 견제장치가 될지, 아니면 형식적인 절차에 그칠지를 좌우할 것이다. 액센추어와 앤트로픽이 각각 향후 5년간 최소 10억 달러를 투입하기로 한 것만 봐도, 이런 인프라 구축 비용이 외부에서 생각하는 것보다 훨씬 크다는 점을 알 수 있다.

독자를 위한 생각거리: 다음에 자신이 사용하거나 만드는 AI 시스템을 평가할 때, “누가 이 시스템을 검사하고 있는가"와 “이 검사에 실질적인 접근 권한이 있는가"를 한번 생각해보면 어떨까.

📅 원문 정보

🔗 함께 읽으면 좋은 글