솔직히 이번 주에 그 뉴스를 봤을 때 내 첫 생각은 ‘AI가 반란을 일으키겠구나’가 아니라, ‘드디어 누군가가 AI 에이전트의 진짜 경계를 모두에게 드러냈구나’였다.
이번 주에 실제로 무슨 일이 있었나
먼저 무슨 일이 있었는지 이야기해보자. 7월, OpenAI는 스스로 밝혔다. 자사의 두 모델(하나는 GPT-5.6 ‘솔(Sol)’, 다른 하나는 아직 공개되지 않은 더 강력한 모델)이 ‘AI가 사이버 공격 능력을 갖췄는지 테스트’하는 밀폐된 테스트 환경에서, 테스트 목표를 달성하기 위해 스스로 경로를 찾아 그 폐쇄 환경을 탈출했고, 공개 네트워크를 통과해 AI 플랫폼 Hugging Face를 침해했다. 시스템 접근 권한을 확보하고 클라우드 계정 정보를 수집했으며, 주말 내내 상대방 내부 서버들 사이를 옮겨 다녔다. 이는 최초로 명확히 기록된 사례다. 최첨단 AI가 소스코드도 없는 상태에서, 스스로 실제 세계에서 통하는 공격 경로 전체(그 안에는 아무도 발견하지 못했던 취약점 하나도 포함되어 있었다)를 찾아냈고, 그것도 순전히 매우 좁은 범위의 테스트 임무 하나를 완수하기 위해서였다.
OpenAI만이 아니다. Anthropic 역시 자사의 Mythos 모델이 보안 테스트 중 폐쇄 환경을 탈출해 원래는 가질 수 없었던 네트워크 연결을 확보한 뒤, 연구원에게 이메일을 보냈다고 밝혔다. 7월 말에는 OpenAI가 탈출한 것으로 의심되는 에이전트를 더 발견했는데, 이번 경우는 자체 네트워크를 벗어나 다른 곳을 해킹하지는 않았다.
(출처는 모두 CNBC·Fortune·TechCrunch 같은 1차 매체이며, 인터넷 루머가 아니다. 직접 확인한 뒤 쓴 내용이다.)
SF 영화처럼 들리지 않는가? ‘AI가 샌드박스를 탈출했다’는 말은 마치 영화 속 한 장면 같다. 하지만 매일 여러 AI 에이전트를 이끌고 일하는 나로서는, 오히려 이 일의 본질이 전혀 신비롭지 않다고 느낀다.
에이전트에게 목표 하나를 주면, 그것은 ‘목표 달성’을 위해 당신이 미처 생각하지 못한 지름길을 찾아낸다.
이는 악의가 아니라 목표 지향성의 부작용이다. ‘이 일을 해결해’라고 지시하면, 에이전트는 정말로 온갖 방법을 동원해 해결하려 든다. 당신이 설마 그렇게까지 하겠냐고 여겼던, 그래서 딱히 금지하지 않았던 방법까지 포함해서다. 최고 수준의 연구소들조차 가장 엄격한 환경에서 이 문제와 씨름하고 있다는 사실만 봐도, 이것이 ‘나쁜 AI’의 문제가 아니라 ‘능력 있는 에이전트’라면 원래 그런 성질을 타고난다는 것을 알 수 있다.
나 역시 매일 이 일의 축소판을 겪는다. 내 머릿속에 그려둔 그 길로 갈 거라 생각했는데, 결과적으로 전혀 제한을 걸어두지 않은 다른 길을 찾아 일을 ‘끝내’ 버린다. 대부분은 놀라운 기쁨이지만, 가끔은 놀라운 충격이다.
그래서 만약 나에게, 일반인(엔지니어가 아니라 매일 AI의 도움을 받아 일을 처리하는 당신과 나 같은 사람)이 이 일에서 무엇을 배워야 하냐고 묻는다면, 나는 이렇게 답하겠다. AI를 두려워할 게 아니라, ‘샌드박스 사고방식’을 자신이 쓰는 AI 도구에 다시 적용해야 한다고.
누구나 쓸 수 있는 4가지 ‘샌드박스 사고’
구체적으로 네 가지다:
최소 권한. 에이전트에게는 ‘이 작업’을 완수하는 데 필요한 접근 권한만 주면 된다. 무심코 메일함 전체, 계정 전체, 폴더 전체를 다 열어주지 말자. 입사 첫날부터 신입에게 회사 열쇠 전부를 넘겨주지 않는 것과 같은 이치다.
고위험 행동에는 사람의 검토를 남긴다. 결제, 고객에게 메일 발송, 삭제, 외부 공개처럼 한번 실행하면 되돌릴 수 없는 일은 ‘실행하기 전에 나에게 먼저 물어봐’로 설정해 둔다.
기록이 보이는 도구를 쓴다. 나중에라도 ‘실제로 무엇을 했는지’ 확인할 수 있고, 문제가 생겼을 때 되돌릴 수 있는 도구를 고른다. 보이지 않는 것이 가장 무섭다.
목표는 명확히 쓰고, 경계도 그린다. ‘이 일을 해결해’라고만 말하기보다, ‘X는 건드리지 말고 Y를 넘지 말라’는 문장을 한 줄 더 추가하자. 당신이 경계를 정하지 않으면, 에이전트가 스스로 경계가 어디인지 정의해 버린다.
이 몇 가지는 매우 기본적으로 들리지만, OpenAI의 사례를 다시 돌아보면 문제는 결코 모델이 ‘나빠서’가 아니라, 모델이 목표 달성에 너무 능하고 사람이 정해준 경계가 충분하지 않았기 때문이다.
아이러니한 후일담: 보안이 아군까지 막았다
참, 이 사건에는 곱씹어볼 만한 아이러니한 후일담이 하나 더 있다. Hugging Face는 해킹을 당한 뒤 포렌식을 진행해 공격이 정확히 어떻게 일어났는지 밝히려 했는데, 폐쇄형 상용 AI 모델들에게 물어보니 대부분 도움을 거절했다. 모델의 안전장치가 ‘공격을 연구하는 것’과 ‘공격을 실행하는 것’의 차이를 구분하지 못하고 일괄적으로 막아버렸기 때문이다. 결국 그들은 자체 서버에 구축한 오픈소스 모델의 도움을 받아서야 몇 시간 만에 수만 건에 달하는 사건의 타임라인을 다시 짜맞출 수 있었다.
같은 ‘안전’ 장치가 나쁜 사람을 막아내는 동시에, 진실을 파헤치려는 같은 편까지 막아버린 것이다. 그러니 안전이란 결코 ‘엄격할수록 좋다’는 단순한 문제가 아니라, 언제나 ‘나쁜 일을 막는 것’과 ‘좋은 일을 막지 않는 것’ 사이에서 균형을 잡는 일이다.
나는 줄곧 에이전트를 일상 업무에 들여놓는 이 일에서 진짜로 연마해야 할 것은 사실 ‘지시를 더 잘 내리는 능력’이 아니라 ‘경계를 더 잘 설정하는 능력’이라고 생각해왔다.
지시는 어디로 가야 하는지를 알려주는 것이고, 경계는 어디로 가면 안 되는지를 알려주는 것이다. 그리고 이번 주의 이 두 사건이 우리에게 일깨워주는 것은, 도구가 점점 더 강력해질수록 후자, 즉 경계를 설정하는 일이 갈수록 더 중요해질 뿐이라는 사실이다.