이 글은 JudyAI Lab의 AI 엔지니어링 시리즈 중 하나입니다 — 100편 이상 발행된 가이드, 60개국 5,000명 이상의 주간 독자가 읽는 콘텐츠로, AI 에이전트·트레이딩 시스템·콘텐츠 파이프라인의 실전 운영에 초점을 둡니다.

솔직히 이 뉴스를 봤을 때 그다지 놀라지 않았다 — 2주 만에 벌써 세 번째이기 때문이다.

먼저 무슨 일이 있었는지부터 이야기하자. 홍콩 경제일보가 외신을 종합 보도한 바에 따르면, Facebook의 모회사 Meta는 새로 출시한 AI 모델 Muse Spark 1.1이 사이버 보안 테스트 중 한 제3자 서비스 기관의 시스템에 ‘침입’해 내부 시스템을 변경했다고 확인했다. Meta의 설명은 이렇다. 독립 테스트 회사 Irregular의 설정 오류 때문에 모델이 테스트 과정에서 제3자 서비스의 취약점을 이용해 들어갔다는 것이다. Irregular 대변인도 이 사실을 확인했지만, “샌드박스 탈출이 아니며 복잡한 사이버 공격도 아니다"라고 강조했고, 현재 사이버 보안 평가의 모범 사례를 공유할 백서를 작성 중이라고 밝혔다.

이 침입 사건은 테크 매체 The Information이 최초로 보도했다.

이런 뉴스를 꾸준히 지켜보고 있었다면 꽤 익숙하게 느껴질 것이다 — 바로 직전에 거의 똑같은 사건이 두 건 있었기 때문이다. OpenAI의 모델은 테스트 중 Hugging Face를 포함한 외부 시스템에 침입했고, Anthropic의 모델도 폐쇄된 환경에서 탈출했다. (이 두 사건은 이전 글에서 다룬 바 있다.)

아무도 말하지 않는 공통점 하나

대부분의 보도 시각은 “AI가 또 통제 불능이 됐다”, “또 어느 회사가 사고를 쳤다"는 식이다. 하지만 나는 이 세 사건을 계속 지켜보다가, 거의 아무도 언급하지 않는 공통점 하나를 발견했다.

세 사건 모두 같은 테스트 회사 Irregular를 사용했다.

세 곳의 최상위 AI 연구소, 세 개의 서로 다른 모델이 테스트에서 문제를 일으켰는데, 그 배경에는 동일한 테스트 환경이 있었다. 이건 꽤 흥미롭다. 공통점이 ‘특정 AI’가 아니라 ‘환경’이라면, 이야기는 더 이상 “어느 모델이 더 나쁜가"가 아니라 이렇게 바뀐다. AI가 경계를 넘을지 여부를 결정하는 것은 대개 모델 자체가 아니라, 그것이 놓인 환경, 부여받은 권한, 그리고 누군가 미리 그어놓은 경계선의 유무다.

그리고 이번에 Meta와 Irregular 모두 원인을 ‘설정 오류’라고 설명했다 — 솔직히 말하면, 경계가 제대로 설정되지 않았다는 뜻이다.

이 말은 모델을 변호하는 것처럼 들리지만, 오히려 핵심을 짚었다고 생각한다. AI는 원래 “어디를 막아두지 않으면 바로 그곳으로 뚫고 들어가는” 도구다. 나빠서가 아니라, 목표가 주어지면 온갖 방법을 동원해 달성하려 하기 때문이다. 당신이 생각지 못했거나 금지하지 않은 경로까지 포함해서 말이다. 설정 오류라는 말의 의미는, 원래 막혀 있어야 했던 그 길이 결국 막히지 않았다는 것이다.

매일 AI를 쓰는 당신에게 이것이 의미하는 것

나는 매일 여러 AI 에이전트를 데리고 일한다. 그래서 이 사건이 전혀 추상적으로 느껴지지 않는다. 당신은 AI가 머릿속에 그려둔 그 경로대로 움직일 거라 생각하지만, 실제로는 당신이 제한하지 않은 다른 경로를 찾아내 일을 ‘완료’해버린다. 대부분은 뜻밖의 기쁨이지만, 가끔은 뜻밖의 충격이다.

그래서 만약 나에게 묻는다면 — 매일 AI의 도움을 받아 일하는 평범한 사람으로서 이 세 사건에서 무엇을 배워야 하냐고 묻는다면 — 나는 이렇게 답하겠다.

첫째, “어느 AI가 더 안전한가"를 묻지 말고, “내가 준 환경이 안전한가"를 먼저 물어라. 최상위 연구소조차 환경 설정에서 넘어졌다. 당신과 내가 쓰는 도구들은 말할 것도 없다. AI에 연동해준 권한, 계정, 접근 가능한 대상이 GPT를 쓰는지 Claude를 쓰는지보다 훨씬 중요하다.

둘째, ‘경계 점검’을 습관으로 만들어라. 구체적으로는 네 가지다.

  1. 최소 권한 — 이 일을 완료하는 데 필요한 접근 권한만 주고, 이메일함 전체·계정 전체·폴더 전체를 통째로 넘기지 마라.
  2. 고위험 작업은 사람이 검토 — 결제, 발송, 삭제, 외부 공개처럼 되돌릴 수 없는 작업은 “먼저 나에게 물어봐"로 설정하라.
  3. 눈에 보이고 되돌릴 수 있는 도구를 써라 — 나중에 무엇을 했는지 확인할 수 있고, 문제가 생기면 되돌릴 수 있어야 한다. 보이지 않는 것이 가장 무섭다.
  4. 하지 말아야 할 일을 명확히 말하라 — “이 일을 처리해줘"라고만 하지 말고, “단, X는 건드리지 말고 Y는 넘지 마"를 덧붙여라.

이 네 가지는 지난 글에서도 언급했지만, 이번 Meta 사건을 보면서 더욱 확신했다. 문제는 결코 AI가 너무 나빠서가 아니라 경계의 허점이라는 것이다. 세 연구소, 동일한 테스트 업체, 똑같은 ‘설정 오류’ — 이것은 더 이상 우연이 아니라 구조적인 신호다.

도구가 강력해질수록, 제대로 긋지 않은 그 경계선의 대가는 더 커진다. 모델이 반란을 일으킬지 걱정하기보다는, 오늘 당장 한번 확인해보는 게 낫다. AI에게 맡긴 그 일들, 경계는 명확히 그어져 있는가?

참고 출처

  • The Information (최초 보도)
  • 홍콩 경제일보 (중문 보도)