📰 핵심 요약

2026년 봄, 미군은 중국 선박 한 척을 겨냥한 무력 작전을 위해 이미 군용기를 출동시켰으나, 관계자들은 막판에서야 이번 작전을 뒷받침한 정보가 AI 챗봇이 ‘환각’으로 만들어낸 산물이라는 사실을 깨달았다. CNN이 금요일 보도한 바에 따르면, 해당 작전은 최후의 순간에 긴급 중단되어 중국과의 잠재적 충돌을 아슬아슬하게 피했다.

이 정보는 미국-이란 전쟁 기간 중 유포되었으며, 해당 선박이 핵무기 계획 관련 부품을 싣고 있다는 내용이었다. 이 거짓 정보의 발단은 한 특수작전사령부 분석관이었다. 그는 공개 정보와 기밀 신호정보를 통합하기 위해 AI 챗봇을 사용했는데, 이 도구가 선박의 화물 적하목록 내용을 잘못 판단했다. 이후 해당 분석관은 이 도구를 두 번째로 사용해 이 잘못된 결론을 공식 문서처럼 보이는 요약서로 정리했고, 이는 지휘 체계 각 단계로 전파·확산되었다.

이 자칫 대참사로 이어질 뻔한 사건은, 미군이 의사결정 속도를 높이고 중국에 대한 우위를 유지하기 위해 AI 통합을 적극적으로 가속화하고 있는 시점에 발생했다. 국방부는 AI가 ‘킬 체인(kill chain)’ 반응 속도를 크게 높여 지휘관이 즉시 대응할 수 있게 해준다고 밝혀왔다. 그러나 이러한 속도상의 이점은, 인적 감독이 충분하지 않을 경우 AI 환각이 거침없이 파고들 수 있는 통로가 되기도 한다.

GovAI 연구원이자 예비역 미군 장교인 제이크 스테클러(Jake Steckler)는 TechCrunch에 보낸 서면 답변에서, 군 인력은 대형언어모델에 내재된 불확실성을 반드시 이해해야 하며, 특히 무력 사용과 직결되는 의사결정(표적 지정, 정보 분석, 작전 계획 등)에서는 생사가 걸린 문제이기 때문에 더욱 그렇다고 강조했다. 그는 이번 사건이 AI 안전 보호 메커니즘을 강화하는 경고 신호가 되어야지, 이 때문에 AI 도입 자체를 꺼려서는 안 된다고 말했다. 안전 조치를 희생하면서까지 도입 속도만 추구한다면, 결국 군 인력이 AI 시스템에 대한 신뢰를 잃게 되고, 오히려 도입 속도를 늦추는 결과를 낳을 뿐이라고 덧붙였다.

💬 JudyAI Lab 코멘터리

올봄 미군은 AI 챗봇이 ‘환각’으로 만들어낸 정보 때문에 중국 선박에 대한 무력 작전을 발동할 뻔했고, 최후의 순간에야 긴급 중단하여 잠재적 충돌을 아슬아슬하게 피했다.

우리가 주목하는 핵심은 AI가 저지른 실수 자체가 아니라, 그 오류가 어떻게 단계적으로 증폭되었는가에 있다. 한 분석관이 챗봇으로 공개 정보와 기밀 신호정보를 통합했는데, 이 도구가 화물 적하목록 내용을 잘못 판단했다. 이어서 분석관은 이 잘못된 결론을 공식 요약서로 정리했고, 이것이 지휘 체계 각 단계로 전파되는 과정에서 아무도 원본 자료를 다시 확인하지 않았다. 이것이야말로 속도를 추구할 때 가장 쉽게 발생하는 허점이다. 도구가 빨라질수록 오류도 그만큼 빠르게 전파되며, 특히 생사가 걸린 의사결정 상황에서는 그 위험이 더욱 커진다.

AI 빌더들에게 남기는 메시지: AI가 산출한 모든 핵심 결론에는 반드시 역추적하여 검증할 수 있는 경로를 남겨두어야 한다. 요약본이 출처 확인 없이 계속 위로만 전달되도록 방치해서는 안 된다.

📅 원문 정보

🔗 함께 보면 좋은 글