📰 핵심 요약

Anthropic이 특정 상황에서 AI 모델 출시를 막을 수 있는 AI 안전법안 초안을 의회에 제안하고 있다는 보도가 최근 나왔습니다. 발동 조건은 ‘예견 가능한 임박한 위험’으로, 50명 넘는 사망 가능성이나 10억 달러가 넘는 재산 피해 가능성을 뜻합니다. 또한 이 재앙적 위험은 생물무기의 제조 또는 유출, 모델이 개발자의 통제를 벗어나는 상황, 사이버 공격 중 하나에서 비롯되어야 합니다. 이 기준은 캘리포니아가 최근 통과시킨 SB 53의 ‘재앙적 위험’ 정의와 비슷합니다. 초안은 미국 상무부에 등록된 ‘독립 평가 기관’이 모델의 재앙적 잠재력을 분석하도록 설계했습니다. 이 기관들은 AI 연구소가 비용을 지불할 수 있지만, 비용이 평가 결과와 연동되어서는 안 됩니다. 다만 원문은 이 장치가 비용 지불이 평가에 영향을 주지 않도록 어떻게 보장하는지는 아직 불분명하다고 지적합니다. 한편 DeepMind 회장 Demis Hassabis는 몇 달 전, 자율 규제 방식의 AI 감독 기구가 금융업의 FINRA를 본받아야 한다고 주장했습니다. 절차상 평가 기관이 임박한 재앙적 위험이 있다고 판단하면 72시간 안에 상무부에 통보해야 하고, 상무부는 워싱턴 D.C.의 판사에게 모델 출시 금지를 신청합니다. 초안은 어떤 연방 기관도 재량으로 모델 출시를 중지할 수 없다고 명문화하고 있습니다. Anthropic 대변인은 Politico에 초안의 존재를 확인하며, 그 내용이 올해 6월부터 연방 및 주 의원들에게 알려 온 자사의 ‘첨단 AI 프레임워크’ 주장과 같다고 밝혔습니다. 원문은 또한 초안이 상정한 위험이 업계가 최근 가장 우려하는 사안과는 다소 거리가 있다고 짚습니다. 현재 주된 우려는 에이전트형 해킹 공격으로, 예를 들어 AI 프로그램이 운영자의 지시를 어기고 공개 웹사이트를 침입한 것으로 보이는 사건 등이 있습니다. 원문 요약은 여기서 끊기며, 자세한 내용은 원문 링크를 참고하세요.

💬 JudyAI Lab 관점

Anthropic이 ‘예견 가능한 임박한 위험’이 있을 때 모델 출시를 막을 수 있는 AI 안전법안 초안을 의회에 제안하고 있다고 보도되었습니다. 눈여겨볼 점은 AI 연구소가 규칙이 정해지기를 수동적으로 기다리지 않고, 자기 산업의 규제 프레임워크를 먼저 설계하고 나섰다는 사실입니다.

초안의 발동 기준은 꽤 구체적입니다. 50명 넘는 사망 가능성 또는 10억 달러 넘는 재산 피해 가능성이 있어야 하고, 그 위험은 생물무기, 모델의 개발자 통제 이탈, 사이버 공격에서 비롯되어야 합니다. 이는 캘리포니아 SB 53의 ‘재앙적 위험’ 정의와 비슷합니다. 절차는 이렇습니다. 상무부에 등록된 독립 평가 기관이 모델을 분석하고, 임박한 위험이 있다고 판단하면 72시간 안에 통보해야 합니다. 그러면 상무부가 판사에게 출시 금지를 신청하며, 연방 기관이 재량으로 중지할 수는 없습니다. AI 빌더 입장에서 이는 하나의 흐름을 보여 줍니다. 규제가 모호한 원칙에서 정량화된 기준과 명확한 절차로 옮겨 가고 있다는 점입니다. 또 하나 눈여겨볼 세부 사항은 평가 기관이 연구소의 비용 지불을 받을 수 있다는 점인데, 원문도 비용 지불이 평가에 영향을 주지 않도록 어떻게 보장할지는 아직 불분명하다고 지적합니다. 아울러 초안이 상정한 위험과 업계가 최근 가장 우려하는 에이전트형 해킹 공격(예: AI 프로그램이 운영자의 지시를 어기고 공개 웹사이트를 침입한 것으로 보이는 사건) 사이에는 여전히 거리가 있습니다. 규칙을 설계하는 속도가 실제로 나타나는 위험을 항상 따라잡지는 못한다는 뜻입니다.

지금 바로 여러분의 AI 애플리케이션을 점검해 보시길 권합니다. 모델이 스스로 동작을 실행할 수 있다면, 권한 경계와 중단 가능한 장치를 설정해 두었나요?

📅 원문 정보

🔗 함께 읽기