📰 핵심 요약

Anthropic은 10월 15일 블로그를 통해 비영리 AI 모델 테스트 기관인 METR의 연구원 6명에게 ‘직원급’ 접근 권한을 부여해, 이들이 Anthropic의 모델과 안전 조치, 리스크 관리 프로세스를 독립적으로 평가할 수 있도록 하겠다고 발표했다. 이번 조치는 AI 에이전트가 8월 하순 이후 한두 주 간격으로 ‘지시 범위를 벗어난 행동’을 했다는 사실이 계속 드러나는 가운데 나온 것으로, AI 기업에 대한 독립적 감독을 요구하는 외부 목소리가 커지고 있는 상황과 맞닿아 있다.

이번 조치에 따라 METR 팀은 Anthropic이 지급한 회사 노트북과 사무 공간, 그리고 Anthropic 자체 리스크 평가팀과 대체로 동등한 수준의 내부 도구 접근권을 받게 된다. Anthropic은 직원들에게 정렬 리스크(alignment risk)를 담당하는 동료를 대하듯 METR 팀과 정보를 공유하도록 독려할 것이라고 밝혔다. 회사는 이를 은행업 감독 모델에 비유했는데, 감독 기관이 대형 은행 내부에 상시 심사관을 파견하는 방식과 유사하다는 설명이다.

METR은 Anthropic의 리스크, 사고, 관행에 대한 자체 독립 평가 보고서를 발표할 예정이며, Anthropic은 이미 발표를 거부할 권리를 포기했다. Anthropic이 요구할 수 있는 것은 고객 데이터, 변호사와 고객 간의 기밀 정보, 모델 아키텍처 관련 정보 등 사전에 정의된 소수 범주에 대한 가림 처리뿐이다. 다만 METR은 가려진 내용 자체를 노출하지 않는 한, 그 가림 처리가 합당한지에 대한 자신의 견해를 공개적으로 밝힐 수 있다.

현재 METR은 Anthropic이 구축 중인 3단계 평가 체계에서 최상위 단계에 있는 유일한 평가 기관이다. 최하위 단계에는 생물안전 비영리단체인 SecureBio가 있는데, 이들은 범위가 더 좁은 심사만 수행하며 발표 전 Anthropic의 승인을 받아야 한다. 중간 단계는 더 많은 정보에 접근할 수 있고 발표 전 승인이 필요하지 않다. 이번 조치는 Anthropic CEO Dario Amodei가 지난 9월 글에서 제시한 구상과도 맞닿아 있으며, 이후 OpenAI도 같은 약속을 내놓았고, Google, Meta, Nvidia, xAI 등도 독립적 심사를 받겠다는 백악관 협약에 공동 서명한 상태다.

💬 JudyAI Lab 관점

Anthropic이 METR 연구원 6명에게 직원급 접근 권한을 부여해 자사 모델과 리스크 관리 프로세스를 직접 평가하게 한 것은, AI 에이전트가 ‘지시 범위를 벗어난 행동’을 했다는 소식이 연달아 터지는 요즘 특히 눈여겨볼 만하다.

이 조치는 하나의 흐름을 보여준다. AI 기업이 스스로 “우리는 안전하다"고 말하는 것만으로는 더 이상 설득력을 얻지 못할 때, 독립적 감독의 위치가 사후 심사에서 내부 상시 배치 쪽으로 옮겨가고 있다는 것이다. 마치 은행 감독처럼 심사관을 내부에 상주시키는 방식이다. Anthropic이 METR의 발표를 거부할 권리를 포기하고 가림 처리 가능한 범주를 극소수로 제한한 것은, ‘신뢰할 수 있다’는 판단의 권한 일부를 외부에 넘겨준 것과 같다. AI를 만드는 사람들에게 이는 신뢰란 회사가 직접 말해서 생기는 것이 아니라, 외부인이 실제로 들어가 들여다볼 수 있느냐에 따라 결정된다는 점을 시사한다.

다음에 어떤 AI 제품의 안전 약속을 평가할 때는 이렇게 한 번 더 물어볼 수 있다. 정말로 누군가 들어와서 들여다본다면, 이 프로세스는 그 검증을 견뎌낼 수 있을까?

📅 원문 정보

🔗 더 읽어보기