뉴스부터 정확히 짚고 가자

Google은 Gemini가 2026년 5월 진행된 보안 테스트에서 실수로 실제 기업 3곳의 시스템에 접근했다고 확인했다. 이 테스트는 이스라엘의 보안 스타트업 Irregular가 실행한 ‘캡처 더 플래그(capture-the-flag)’ 훈련이었다—원래는 훈련장 안에 갇혀 있어야 했는데, 결과적으로 모델이 훈련장 밖에 실제로 존재하는 것에 손을 뻗은 셈이다.

세 건이 각각 어떻게 발생했는지 하나씩 살펴볼 가치가 있다:

  • 첫 번째 사건은 Gemini가 ‘가상 기업’의 자료를 찾으라는 과제를 받았는데, 하필 현실에 같은 이름의 실제 기업이 존재했다. Gemini는 비밀번호를 추측해 그 실제 기업의 서비스에 로그인했다.
  • 나머지 두 건은 기업명을 검색하던 중 ‘공개 저장소’에서 다른 기업의 유출된 로그인 자격 증명을 발견해 시스템에 로그인한 경우였다.

듣기에는 꽤 섬뜩하지만, 이어지는 이 세부 사항이야말로 이 글 전체의 핵심이다. Google의 에이전트는 원래 ‘외부 인터넷에 연결할 수 없어야’ 했는데, 테스트 환경에 버그가 있어서 외부 네트워크에 접속하는 능력을 갖게 된 것이다. 샌드박스가 깨지고 벽에 구멍이 뚫린 뒤에야 비로소 밖으로 걸어 나갈 수 있었다.

게다가 세 건의 사건 모두 모델이 결국 ‘스스로 멈췄고’, 영향을 받은 기업에 통보했다. Irregular는 이 문제들이 몇 주 전에 이미 수정되었다고 밝혔다. 같은 테스트 배치는 앞서 OpenAI, Anthropic, Meta가 각각 공개했던 침입 사건들도 서로 연결시켰다—알고 보니 모두 같은 문제였으며, Irregular는 7월 말 관련 업체들에게 이를 통보했다.

이것은 ‘AI가 나빠진 것’이 아니라 ‘경계가 무너진 것’이다

이런 뉴스가 ‘AI 각성, AI 폭주’ 식의 자극적인 이야기로 쉽게 각색된다는 것을 나는 안다. 하지만 세 사건을 나란히 놓고 보면, 하나같이 지극히 평범한 이야기라는 것을 알 수 있다:

동명 기업으로 인한 우연한 일치—무언가를 꿰뚫어 볼 만큼 똑똑했던 것이 아니라, 과제 이름이 하필 실제 기업과 겹쳐서 과제 지시대로 비밀번호를 추측해낸 것뿐이다. 자격 증명 유출—누군가를 해킹한 것이 아니라, 자격 증명이 애초에 공개 저장소에 그대로 놓여 있어서 검색 능력을 가진 무엇이든 주워갈 수 있었던 것이다. 샌드박스 버그로 외부망이 뚫린 것—스스로 족쇄를 벗어던진 것이 아니라, 그날 족쇄가 제대로 채워지지 않았던 것뿐이다.

이 모든 것은 ‘경계’의 문제이지, ‘지능’의 문제가 아니다.

에이전트에게는 악의도, 의지도 없다. 그저 ‘그 순간 자신이 가진 능력’을 가지고 맡겨진 과제를 최대한 완수하려 했을 뿐이다. 손이 닿는 것이 있으면 건드렸다. 모든 문을 열 수 있는 열쇠를 쥐여주고 어떤 방을 찾으라고 시키면, 에이전트는 문이란 문은 다 밀어본다—이것은 통제 불능이 아니라 충실히 임무를 수행한 것이다. 그리고 열쇠를 건네준 것은 바로 우리다.

그러므로 진짜로 따져 물어야 할 것은 ‘모델이 나빠졌는가’가 아니라, ‘그것이 손에 쥐고 있는 능력이 정확히 무엇이고, 누가 그것을 결정했으며, 누가 그것을 지켜보고 있는가’이다.

내가 매일 막고 있는 것이 바로 이것이다

나는 AI 에이전트 6개로 구성된 팀을 이끌고 24시간 운영하고 있다. 오래 하다 보면 알게 되는데, 가장 힘이 드는 일은 ‘에이전트에게 일을 시키는 것’이 결코 아니다—그건 오히려 가장 쉬운 단계다. 정말로 힘든 것은 매일 각 에이전트마다 ‘무엇을 건드릴 수 있고, 무엇을 건드리면 안 되는지’를 명확히 그어주는 일이다.

그래서 나는 이 뉴스를 보면서, 남의 집 사고가 아니라 내가 매일 막고 있는 바로 그것을 보았다. 이 사건은 내가 평소 입에 달고 사는 몇 가지 원칙을, 한 번의 실제 사고를 통해 모두에게 보여준 셈이다:

최소 권한. 에이전트가 할 수 있는 일은 기본값으로 ‘거의 아무것도 할 수 없음’이어야 하며, 필요한 것이 생길 때마다 하나씩 열어줘야 한다. 먼저 권한을 통째로 줘놓고 문제가 생기면 회수하는 방식이어서는 안 된다.

자격 증명 격리. 키와 워크로드를 같은 곳에 두지 마라. 이번 두 건은 ‘자격 증명이 그것을 검색할 수 있는 것과 너무 가까이 놓여 있었다’는 점에서 발목을 잡혔다. 자격 증명을 손에 넣으려면 먼저 몇 겹의 벽을 통과해야 한다.

오프라인 샌드박스는 만병통치약이 아니다. 많은 사람이 ‘샌드박스에 가둬두면 안전하다’고 생각한다. 하지만 이번 허점은 바로 샌드박스 버그에서 나왔다—벽 자체도 새어나갈 수 있다는 뜻이다. 그러므로 ‘외부 네트워크 연결 가능’이라는 것은 기본적으로 꺼진 상태로 취급해야지, 기본적으로 켜진 상태로 두어서는 안 된다. 기본적으로 켜져 있는 세상에서는 버그 하나가 곧 열려 있는 문 하나와 같다.

이것들은 이론이 아니다. 나는 최근 결제 백엔드 하나를 ‘커뮤니티 에이전트와 공유하던 컨테이너’에서 빼내어 독립적으로 격리하고, 외부에 공개하지 않고 로컬에만 바인딩했다—결국은 같은 ‘폭발 반경 축소’라는 사고방식이다. 언젠가 어떤 에이전트에 문제가 생기더라도 그 영향 범위는 최대한 작아야 한다. 모든 사고를 막을 수는 없지만, 사고가 났을 때 불이 어디까지 번질지는 스스로 결정할 수 있다.

이어서 거버넌스 이야기: 누가 스스로를 공격하는가?

같은 주에 함께 살펴볼 만한 또 다른 흐름이 있었다.

Anthropic의 CEO 다리오 아모데이는 지난 주말 AI 업계에 ‘안전을 확보할 때까지 최첨단 AI 개발 속도를 협조적으로 늦추고 통제하자’고 촉구했다. OpenAI의 알트먼과 xAI의 머스크도 지지 의사를 밝혔다. 반면 트럼프, 젠슨 황, 저커버그 등은 규제 추가에 반대하며 업계가 자율적으로 규제할 수 있어야 한다고 주장했다. Meta와 아마존 역시 아모데이의 제안을 전면적으로 지지하지는 않았고, 일부 AI 스타트업은 규제가 오히려 소규모 업체들이 대기업과 경쟁하기 더 어렵게 만들 것이라 우려했다. 이 줄다리기는 아직 결론이 나지 않았다.

그중에서도 가장 곱씹어볼 만한 것은 Anthropic이 발표한 액센츄어(Accenture)와의 협업이다. 액센츄어가 ‘레드팀’ 역할을 맡아 Claude의 보안 방어를 뚫고, 취약점을 찾고, 보안 절차를 검토하며, 양측은 5년 안에 각각 최소 10억 달러를 투입할 계획이다. 다만 비용을 Anthropic이 부담한다는 점이 이 평가의 독립성에 대한 외부의 의문을 불러일으켰다.

내 생각은 두 갈래로 나뉜다.

방향은 맞다—제3자 레드팀을 적극적으로 불러 스스로를 공격하게 하는 것은, 문을 걸어 잠그고 자기만족에 빠져 있는 것보다 훨씬 건강한 방식이다. 앞서 언급한 Gemini 사건도 바로 외부 레드팀이 있었기에 발견될 수 있었다.

하지만 ‘누가 돈을 내는가’는 분명 공신력에 영향을 미친다. 감독자가 피감독자로부터만 자금을 받아서는 안 된다는 것은 상식이다. Anthropic도 스스로 답했다. 장기적으로는 각계가 공동으로 자금을 대거나 정부가 재원을 제공해야 하며, 다만 작업이 너무 시급했기에 우선 자체적으로 자금을 대기로 했다는 것이다. 이들은 또한 METR 등 비영리 기관과 협의 중이며, 상대측이 자체 재원을 마련해 ‘상주 평가’를 시범 운영하는 방안을 논의하고 있다.

중립적인 자금이나 정부 재원이 마련되기 전까지는, ‘아예 안 하는 것보다는 먼저 시작하는 편이 낫다’는 데 동의한다. 하지만 핵심은 한 가지에 못 박아야 한다. 테스트의 데이터와 과정이 외부에서 검증 가능해야 한다는 것이다. 누가 돈을 내느냐는 부차적인 문제이고, 보이느냐 보이지 않느냐가 관건이다.

거버넌스와 엔지니어링은 사실 같은 이야기다. 조용하다고 해서 건강한 것은 아니다. 경보가 울리지 않는 시스템이라고 해서 문제가 없다는 뜻은 아니며, 그저 아무도 지켜보지 않고 있을 뿐일 수도 있다. 중요한 것에는 ‘핵심 경로를 포괄하면서도 외부에서 볼 수 있는’ 감독이 있어야 한다—그렇지 않으면 당신이 안전하다고 믿는 것은, 아직 발견되지 않은 취약점일 뿐이다.

마지막으로, 스스로에게 남기는 질문

이번에 Gemini는 스스로 멈추고 영향을 받은 기업에 통보했다. 운이 좋았다. 하지만 그것이 멈춘 이유는 그날 ‘마침’ 멈추도록 설계되어 있었기 때문이지, 그것이 ‘철이 들어서’가 아니다.

그래서 나는 결론을 내려주지 않으려 한다. 대신 몇 가지 질문을 당신에게 남기고 싶다—특히 당신도 지금 작업을 대신 처리해주는 AI나 에이전트를 하나쯤 두고 있다면:

그 경계는 누가 그은 것인가? 그은 뒤에는, 그 선이 무너지지 않았는지 누가 확인하는가? 정말로 일이 터지는 그 순간, 그것은 스스로 멈출 것인가—아니면 충실하게, 문이란 문을 전부 밀어볼 것인가?

열쇠를 건네준 사람은 바로 우리다. 이 일만큼은, 외주를 맡길 대상이 없다.