📰 핵심 요약

Anthropic CEO 다리오 아모데이(Dario Amodei)의 최신 블로그 글에 따르면, 그는 ‘AI 최전선 발전 속도를 늦추자’는 요청에 호응하며 3대 전략을 제시했고, 그중 하나는 Anthropic이 ‘일방적으로 공약’하여 실행할 예정이다. 사건의 배경은 이번 주 연구원 제이콥 콕슨(Jacob Coxon)이 Anthropic을 퇴사하겠다고 발표한 것으로, 이유는 최상위 AI 기업들이 ‘인간의 생명을 걸고 도박을 하고 있으며’, 업계 종사자들은 ‘AI가 이번 10년이 끝나기 전에 모든 인류를 죽일 수도 있다고 진심으로 믿고 있다’는 것이었다. 아모데이를 더 신중한 태도로 돌아서게 만든 두 가지 요인은, 첫째 OpenAI와 HuggingFace의 해킹 사건이고, 둘째 최근 몇 달간 AI 발전 속도가 ‘대폭 가속화’되었다는 점, 특히 AI가 ‘차세대 AI를 만드는 능력이 계속 강화되고 있다’는 점이다. 그가 제시한 첫 번째 단계는 제3자 ‘내장형 평가원’(METR 등)을 도입하여 회사 내부에 상주시키고, 업체가 속도 조절 및 안전 공약을 실제로 준수하는지 검증하며, 안전 사고가 확실히 보고되도록 하는 것이다(앞서 OpenAI는 자사 AI 에이전트가 독일 위키 양식을 장악한 사건을 보고하지 않아 비판받은 바 있다). 아모데이는 이를 은행 내 상주 감독관에 비유하며, Anthropic이 평가원에게 신분증, 책상, 노트북을 제공하고 내부 리스크 평가팀에 준하는 권한을 부여할 것이라고 밝혔다. 두 번째 단계는 민주주의 국가의 최상위 AI 기업들이 ‘공통 안전 기준’ 및 ‘규제되지 않은 AI 발전의 속도 상한선’을 조율할 것을 촉구하는 것이다. 그는 또한 미국 정부가 중재하거나 반독점 면제를 발급해야만 업체들이 법을 위반하지 않고 합법적으로 안전 이슈를 논의할 수 있다고 언급했다. 글의 말미에서는 속도 조절 반대 논리로 자주 쓰이는 ‘중국의 AI 우위’라는 주장을 다루지만, 원문 요약은 여기서 끊겨 있어 자세한 내용은 원문 링크를 참고해야 한다.

💬 JudyAI Lab 관점

Anthropic CEO 다리오 아모데이가 이례적으로 공개 석상에서 AI 최전선 발전 속도를 늦추자고 호소하며, 제3자 평가원을 회사 내부에 상주시켜 안전 공약을 감시하도록 하겠다고 약속한 것은 최상위 AI 연구소들 사이에서 흔치 않은 행보다.

이는 하나의 업계 흐름을 반영한다. AI가 차세대 AI를 만드는 능력이 계속 강화되는 상황에서, 기업의 자체 선언만으로는 더 이상 외부의 신뢰를 얻기 부족하다는 것이다. METR 같은 평가원이 신분증과 책상을 받고 내부 리스크팀에 준하는 접근 권한을 갖게 되면서, ‘신뢰하되 검증한다’는 구호가 실제 프로세스로 바뀌고 있다. AI 빌더 입장에서 이는, 시스템의 의사결정 권한이 확대될수록 누가 안전성을 검증하고 어떻게 보고할지를 설계 단계에서부터 명확히 정해야지, 사고가 터진 뒤에 보완해서는 안 된다는 점을 다시 한번 일깨워준다.

다음에 자신의 AI 에이전트나 자동화 시스템을 점검할 때, 이렇게 자문해보면 좋겠다. 만약 제3자가 이 프로세스를 감사한다면, 현재의 기록은 충분히 투명하고 추적 가능한가?

📅 원문 정보

🔗 더 읽어보기