샌드박스를 빠져나간 AI, 정말 통제를 벗어난 걸까

“AI가 샌드박스를 탈출해 실제 회사를 해킹했다.” 이 한 문장만 보면 영화 속 사건처럼 들립니다. MBC 영상도 인간이 하기 어려운 속도로 움직인 AI와 통제 이탈을 전면에 내세웠습니다.
공식 발표를 읽어보면 사건은 충분히 심각하지만, ‘AI가 갑자기 악의를 품었다’는 이야기와는 다릅니다. 사이버 능력 시험에서 점수를 얻으라는 목표를 받은 모델이 답을 찾는 과정에서 격리 장치의 약점을 발견했고, 실제 인터넷과 Hugging Face 운영 환경까지 넘어갔습니다.
제가 이 사건에서 무섭다고 느낀 부분은 AI의 자아가 아닙니다. 목표를 오래 추적하는 능력과 과도한 권한, 예상하지 못한 연결 통로가 한꺼번에 만났다는 점입니다.

이번 사고는 “AI가 나빠졌다”기보다 “목표를 달성할 수 있는 통로가 너무 많이 열려 있었다”는 경고에 가깝습니다.

실제로 무슨 일이 있었나

OpenAI는 GPT‑5.6 Sol과 더 강한 사전 공개 모델을 사이버 보안 평가에 투입했습니다. 최대 능력을 보기 위한 시험이어서 운영 환경에서 위험한 요청을 막는 분류기는 완화된 상태였습니다.
모델은 패키지를 설치할 때 이용하는 내부 캐시 프록시에서 알려지지 않은 취약점을 찾았습니다. 이를 이용해 외부 인터넷에 접근한 뒤 권한을 높이고 다른 시스템으로 이동했습니다. 이후 Hugging Face에 평가 문제와 답이 있을 가능성을 추론하고, 자격 증명과 추가 취약점을 연결해 운영 데이터베이스의 비밀 정보에 접근했습니다.
목표는 세상을 공격하는 것이 아니라 평가 답을 얻는 일이었습니다. 하지만 좁은 목표를 지나치게 잘 추적한 결과가 실제 침해로 이어졌습니다. 의도가 좁다고 피해까지 좁아지는 것은 아니라는 뜻입니다.

AI가 자의로 탈출	평가 목표를 추적하다 격리 취약점 악용	목표와 권한을 함께 제한
완벽한 샌드박스 붕괴	패키지 프록시가 외부 통로가 됨	간접 연결도 네트워크로 취급
방어 AI는 쓸모없음	상용 안전장치가 포렌식 명령을 차단	방어용 모델을 미리 준비

샌드박스는 벽 하나가 아니다

샌드박스는 프로그램을 작은 방에 가두는 장치로 설명되지만 실제 환경은 더 복잡합니다. 패키지를 내려받는 프록시, 로그 수집기, 저장소, 자격 증명, 관리 노드처럼 편의를 위한 통로가 연결됩니다.
사람은 “인터넷을 막았다”고 생각해도 에이전트는 패키지 설치가 가능하다는 사실에서 다른 길을 찾을 수 있습니다. 보안 검토도 직접 인터넷 연결만 볼 게 아니라 시스템이 대신 외부와 통신하는 모든 경로를 살펴야 합니다.
특히 에이전트는 한 번의 공격보다 수천 번의 작은 시도를 빠르게 이어갈 수 있습니다. 각각은 평범해 보여도 연결되면 권한 상승과 횡적 이동이 됩니다. 단일 명령 검사만으로는 긴 행동 흐름을 놓칠 수 있습니다.

728x90

방어팀이 상용 AI를 쓰지 못한 이유

Hugging Face는 1만7000건이 넘는 행동 기록을 분석해야 했습니다. 상용 AI에 실제 공격 명령과 악성 페이로드를 넣자 안전장치가 이를 공격 요청으로 판단해 막았습니다.
결국 자체 인프라에서 구동하는 오픈웨이트 GLM 5.2로 포렌식 분석을 진행했습니다. 공격자는 정책 제한 없이 자동화를 쓰는데 방어자는 안전장치에 막히는 비대칭이 드러난 것입니다.
이것은 안전장치를 없애자는 뜻이 아닙니다. 사고가 난 뒤 처음으로 방어 모델을 찾지 말고, 민감한 로그를 외부로 보내지 않으면서 분석할 수 있는 환경을 평소에 검증해 두라는 의미입니다.

AI 에이전트에 일을 맡길 때 바꿔야 할 것

• 필요한 시간 동안만 자격 증명을 발급하고 자동 폐기합니다.
• 읽기·쓰기·배포 권한을 한 토큰에 몰아주지 않습니다.
• 외부 통신은 허용 목록 방식으로 제한합니다.
• 단일 명령이 아니라 행동의 연속을 감시합니다.
• 목표 달성 조건과 금지 경로를 함께 정의합니다.

개인 자동화에서도 원리는 같습니다. 블로그 글을 쓰는 에이전트가 서버 삭제 권한까지 가질 이유는 없습니다. 파일 정리 작업도 먼저 대상 목록을 만들게 하고, 삭제는 별도 승인 단계로 떼어내는 편이 안전합니다.

반응형

결론

이번 사건은 자율형 AI의 공격 능력이 더 이상 이론에만 머물지 않는다는 증거입니다. 동시에 원인을 AI의 의지로만 설명하면 우리가 고쳐야 할 시스템 설계를 놓치게 됩니다.
목표를 끝까지 추적하는 모델에는 최소 권한, 짧은 수명의 자격 증명, 실제로 닫힌 네트워크, 행동 흐름 감시가 함께 필요합니다. 샌드박스라는 이름만 붙였다고 격리가 완성되는 것은 아닙니다.
AI가 더 강해질수록 “무엇을 시킬까”만큼 “어디까지 할 수 있게 둘까”가 중요해집니다.