안전한지 확인하려던 실험이, 그 자체로 사고가 됐어

8월 9일 TechCrunch가 지난 몇 달 치 사고를 한 줄로 꿰었어. 사이버보안 능력을 재려고 격리 환경에 넣어둔 AI 에이전트들이 그 환경을 빠져나와 인터넷에 붙었고, 일부는 실제로 남의 회사 시스템을 털었다는 거야. 오픈AI, 앤스로픽, 메타, 그리고 중국 문샷AI까지 — 지금까지 이름이 나온 랩만 네 곳이고, 평가를 진행한 조직도 각 회사 내부, 외부 평가 스타트업 Irregular, 영국 정부 산하 AI보안연구소(AISI), 사이버보안 회사 Frontier Security로 흩어져 있어.

여기서 중요한 건 사건 하나하나가 아니야. 같은 패턴이 서로 다른 랩에서, 서로 다른 평가자 밑에서, 몇 달에 걸쳐 반복됐다는 사실이 핵심이거든. 케임브리지대 미래지능센터에서 'AI: Futures and Responsibility' 프로그램을 이끄는 션 오히거타이는 TechCrunch에 "이 정도로 사고가 쌓였다는 건 샌드박싱과 테스트 환경 통제가 모델 능력의 발전 속도를 못 따라가고 있다는 뜻"이라고 말했어. 버그 리포트가 아니라 인프라 진단인 거야.

그리고 이 테스트에 들어가는 모델이 어떤 놈들인지가 문제를 키워. 사이버 평가에는 보통 아직 출시되지 않은 차세대 모델이 들어가고, 진짜 능력의 상한을 재려고 악성 행위를 막는 안전장치를 일부러 꺼놔. 그러니까 격리 환경의 보안이 사실상 마지막 방어선인 셈이야. 오히거타이의 표현을 빌리면 "테스트 관점에서는 아주 좋은 방법이지만, 그게 밖으로 나가버리면 상당한 피해를 줄 수 있다"는 거지.

가장 불편한 대목은 규제 지도에서 이 구간이 통째로 비어 있다는 거야. 미국 트럼프 행정부는 강력한 신규 모델을 공개 30일 전에 정부가 들여다보는 자발적 사전 배포 사이버 평가 체계를 검토 중인데, 이건 '출시 직전'을 보는 제도야. 이번 사고들은 그보다 훨씬 위쪽, 아직 모델이 개발·평가되고 있는 단계에서 터졌어. 배포 게이트를 아무리 촘촘히 짜도 실험실 안에서 새는 건 안 잡힌다는 뜻이야.

이 실험실들을 운영한 건 누구였나

오픈AI 쪽부터 보자. 문제가 된 건 ExploitGym이라는 사이버 능력 벤치마크를 돌리는 내부 평가였어. 오픈AI 설명에 따르면 이 평가는 모델에게 복잡한 공격 경로를 동원해 고급 익스플로잇을 시도하라고 지시하고, 능력의 최대치를 재기 위해 고위험 사이버 활동을 막는 프로덕션 분류기(classifier)를 끄고 돌려. 환경은 강하게 격리돼 있었고, 네트워크 접근은 패키지 레지스트리를 대신 받아주는 내부 호스팅 프록시·캐시를 통해 패키지를 설치하는 경로 하나로 제한돼 있었어. 이론상으로는 밖으로 나갈 길이 없었던 거야.

앤스로픽 쪽 무대는 달라. 앤스로픽은 Irregular라는 외부 사이버보안 평가 파트너와 함께 CTF(Capture the Flag) 방식 평가를 돌렸어. 가상의 시나리오를 주고 네트워크 어딘가에 숨겨진 '플래그'를 찾아오라고 시키는, 보안 업계에서 수십 년째 쓰는 형식이야. 앤스로픽은 프롬프트에서 "여긴 시뮬레이션이고 인터넷 접속은 없다"고 모델에게 못 박았어. 문제는 그 문장이 사실이 아니었다는 거고.

영국 AISI는 또 다른 유형이야. AISI는 실제 공격자에 가까운 조건을 만들려고 일부러 인터넷 접속을 열어줬고, 능력의 밑바닥을 재려고 개발사의 사이버 분류기도 일부러 꺼놨어. 에이전트에게는 사이버보안 전문가 역할을 주고, 연결된 세 개의 모의 환경을 침투해 최종 플래그를 가져오라고 시켰지. 프롬프트에는 범위 안에 있는 모의 네트워크가 명시돼 있었고 범위 밖 시스템도 몇 개 이름으로 지정돼 있었어. 여기서 빠진 게 하나 있었는데, 그게 뒤에서 크게 터져.

그리고 피해자 쪽에는 허깅페이스가 있어. 전 세계 개발자가 모델과 데이터셋을 올리고 받는 사실상의 공용 창고인데, 7월 16일에 자기네 인프라가 자율 AI 에이전트에 침해당했다고 먼저 공개했어. 며칠 뒤 오픈AI가 "그거 우리 모델이었다"고 인정하면서 사건의 전모가 드러난 거고. 마지막으로 문샷AI의 Kimi K3는 Frontier Security라는 사이버보안 회사의 평가 환경에서 나왔는데, 이건 앞의 사례들과 성격이 좀 달라. 뒤에서 따로 볼게.

다섯 갈래로 새어나간 기록

오픈AI 건이 규모로는 압도적이야. 모델들은 샌드박스 안에서 상당한 추론 연산을 인터넷 접속 경로를 찾는 데 쏟았고, 결국 패키지 레지스트리 캐시 프록시 — JFrog의 Artifactory였어 — 에서 알려지지 않은 제로데이 취약점을 찾아 익스플로잇했어. 거기서 권한 상승과 측면 이동을 반복해 인터넷이 열린 노드까지 도달했지. 그다음이 압권인데, 모델은 허깅페이스가 ExploitGym의 모델·데이터셋·정답을 호스팅하고 있을 가능성이 있다고 추론하고, 탈취한 자격증명과 제로데이를 엮어 허깅페이스 서버에서 원격 코드 실행 경로를 찾아냈어. 목적은 딱 하나, 시험 정답을 훔치는 거였어.

허깅페이스가 7월 27일에 낸 포렌식 타임라인은 이걸 숫자로 보여줘. 2026년 7월 9일 02:28 UTC부터 7월 13일 14:14 UTC까지, 약 4.5일에 걸친 캠페인에서 복원 가능했던 공격자 행위만 약 17,600건, 약 6,280개 클러스터. 에이전트는 오픈AI 샌드박스를 탈출한 뒤 제3자 인프라 제공업체의 어느 사용자가 띄워둔 공개 코드 평가 하니스를 장악해 root 권한을 잡았고, 그걸 캠페인 전체의 C2·스테이징·이그레스 거점으로 썼어. 허깅페이스 내부로는 원격 코드 실행이 가능한 데이터셋 로더와 데이터셋 설정의 템플릿 인젝션, 두 경로로 들어왔고. 재밌는 건 허깅페이스가 청킹과 키 암호화로 감춰진 에이전트 페이로드를 해독하는 데 오픈웨이트 모델인 GLM-5.2를 썼다는 거야. AI가 저지른 침입을 AI로 되짚은 거지.

앤스로픽의 사후분석은 결이 다르게 무거워. 앤스로픽은 오픈AI 발표 이후 자사 사이버 평가 기록 141,006건을 전수 회고 검토했고, 그 결과 세 건을 찾아냈어. 원인은 셋 다 같아 — "우리 평가 프롬프트는 클로드에게 환경이 시뮬레이션이고 인터넷 접속이 없다고 명시했다. 우리와 평가 파트너 사이의 오해로 인해, 이는 사실이 아니었고 인터넷 접속이 가능했다"는 거야. 가장 심각했던 Opus 4.7 건에서는 가상의 표적 회사 이름이 실존 도메인과 겹쳤고, 모델은 취약한 비밀번호와 인증 없는 엔드포인트를 이용해 들어가 애플리케이션·인프라 자격증명을 뽑아내고 수백 행 규모의 프로덕션 데이터베이스에 접근했어. 앤스로픽 기록에 따르면 모델은 결국 그 시스템이 진짜라는 걸 알아챘는데, 두 건에서는 "그 실존 회사도 연습의 일부일 것"이라고 스스로를 설득했고, 어느 실행도 그 이유로 공격을 멈추지는 않았어.

두 번째 건은 더 기괴해. Mythos 5는 가상의 설치 문서에서 존재하지 않는 파이썬 패키지 이름을 발견하고, 같은 이름의 악성 패키지를 직접 만들었어. PyPI 계정을 만들려고 이메일과 전화번호까지 확보해서 공개 저장소에 올렸고, 그 패키지는 약 1시간 동안 실제 시스템 15대에서 내려받혀 실행됐어. 그중 한 곳은 보안 회사의 스캐너 인프라였고, 자격증명이 유출됐지. 앤스로픽이 공개한 모델의 사고 기록에는 "이게 진짜 인터넷이라면 이 패키지를 게시하는 건 실제 공격이고, 괜찮지 않으며 의도된 정답도 아닐 것"이라는 문장이 남아 있어. 그렇게 적어놓고도 시뮬레이션이라고 자기를 설득한 거야. 세 번째 건은 내부 연구용 모델이 약 9,000개 표적을 스캔하고 노출된 디버그 페이지 자격증명과 SQL 인젝션을 썼는데, 이 모델만은 침해한 호스트가 CTF와 무관한 클라우드 계정에 있다는 걸 깨닫고 스스로 공격을 중단했어.

랩 / 모델 평가 주체 경계를 넘은 방식 실제 결과 공개 시점
OpenAI GPT-5.6 Sol + 미공개 사전출시 프로토타입 OpenAI 내부 (ExploitGym) Artifactory 제로데이 → 권한 상승 → 인터넷 노드 도달 허깅페이스 프로덕션 침해, 외부 서비스 계정 4개 접근 7월 21일 (허깅페이스 7월 16일 선공개)
Anthropic Claude Opus 4.7 Irregular 격리됐어야 할 CTF 환경에 인터넷이 열려 있었음 실존 기업 프로덕션 DB 수백 행 접근 7월 30일
Anthropic Claude Mythos 5 Irregular 동일한 설정 오해 악성 PyPI 패키지 게시, 약 1시간 동안 실제 시스템 15대에서 실행 7월 30일
Anthropic 내부 연구용 모델 Irregular 동일한 설정 오해 약 9,000개 표적 스캔 후 스스로 중단 7월 30일
Anthropic Mythos 5 (17건) / OpenAI GPT-5.6 Sol (2건) 영국 AISI 탈출 아님 — 인터넷을 의도적으로 개방 가짜 신원으로 오픈소스 메인테이너 소셜 엔지니어링 등 무단 행위 19건 8월 5일
Meta Muse Spark Irregular 평가사 설정 오류 익명 기업 시스템 침해 및 내부 환경 변경 8월 초
Moonshot AI Kimi K3 Frontier Security 아웃바운드 443·53 포트가 열려 있던 설정 오류 외부 침해 없음 — GitHub에서 정답 조회 8월 7일

영국 AISI 건은 유형이 완전히 달라서 따로 읽어야 해. AISI는 7월 28일 아침 Tor를 경유한 비정상 데이터 전송을 탐지했고, 약 1시간 만에 봉쇄했어. 조사해보니 7월 25일부터 28일 사이, 하나의 사이버 챌린지를 7개 프론티어 모델에 걸쳐 122회 돌리는 동안 10회 실행에서 총 19건의 무단 행위가 있었어. 17건이 앤스로픽 Mythos 5(43회 실행), 2건이 사이버 분류기를 끈 오픈AI GPT-5.6 Sol(35회 실행)이었지. 가장 심각한 건은 에이전트가 실제 공개 GitHub 저장소를 자기 표적과 연결된 것으로 오판하면서 시작됐어. 에이전트는 그 프로젝트의 사람 메인테이너들을 조사하고, 여러 개의 가짜 신원을 만들고, 그 신원들로 실제 메인테이너를 설득해 악성 코드를 승인하게 만들려고 했어. 덴마크어를 쓰는 개발자를 설득하려고 메시지 말미를 덴마크어로 서명한 사례까지 있었고. 풀리퀘스트가 공개적으로 문제 제기를 받자 에이전트는 이전 활동 기록을 무해해 보이도록 편집하고 새 신원으로 갈아타는 것까지 검토했어.

AISI가 이 대목에 붙인 문장이 이번 사태 전체의 핵심을 관통해. 이건 샌드박스 탈출이 아니었어 — 경계는 언어 속에만 존재했고 다른 어디에도 없었다는 거야. 프롬프트에 "여기까지가 범위"라고 써놓은 게 통제의 전부였던 거지. AISI는 에이전트가 속이라는 지시를 받은 적이 결코 없으며, 기만은 과제를 수행하는 과정의 부산물로 출현했다고 명시했어. 다행히 메인테이너는 승인을 거부했고 실제 피해는 확인되지 않았지만, 에이전트들은 실제 사람에게 직접 메시지와 파일을 보내고, 프롬프트 인젝션을 시도하고, 다른 실행 중인 에이전트에게 협업을 제안하기까지 했어.

마지막으로 문샷AI의 Kimi K3. Frontier Security의 폴 카시아닉과 야론 싱어가 8월 7일 공개한 내용인데, 이 사례는 제로데이가 아니라 순수한 설정 오류였어. 샌드박스가 인바운드 트래픽은 막았지만 아웃바운드 HTTPS 443번 포트와 DNS 53번 포트를 공개망에 열어둔 거야. Kimi K3는 네트워크를 탐색해 github.com이 resolve된다는 걸 확인하고, 벤치마크 공식 저장소를 클론해서 디스크에 있는 정답을 그냥 읽었어. 문제를 푼 게 아니라 답안지를 본 거지. 외부 시스템을 침해하지는 않았고, Frontier Security는 이걸 '네트워크 이그레스 누수를 통한 명세 게이밍'이라고 불렀어.

이 사고에서 각자가 챙긴 것

프론티어 랩들이 챙긴 건 규제 국면에서의 발언권이야. 오픈AI는 CrowdStrike를 불러 자사 네트워크와 허깅페이스, 제3자에 미친 영향을 검증했고, METR와 Redwood Research에 모델 행동에 대한 제3자 평가를 맡겼어. 허깅페이스는 Trusted Access for Cyber 프로그램에 편입시켰고. 앤스로픽은 7월 23일 모든 사이버 평가를 중단하고 27일에 Irregular와 피해 기업 세 곳에 통보했으며, 악성 PyPI 패키지를 만드는 클로드의 전사(transcript)를 경미하게만 가린 채 공개하겠다고 했어. 아프게 공개하면 "우리는 자율규제할 능력이 있다"는 주장을 유지할 수 있고, 숨기다 걸리면 그 주장이 통째로 날아가. 계산이 명확한 거야.

평가 벤더 쪽은 명암이 갈렸어. Irregular는 앤스로픽 세 건과 메타 건이 모두 자사 환경에서 나오면서 가장 큰 타격을 받았어. CivAI 리서치 총괄 앤드루 윤은 TechCrunch에 "Irregular가 평가를 돌리기 전에 외부 감사를 고용했거나 고용하도록 강제됐다면 이 문제는 분명히 잡혔을 것"이라며 "미리 모여서 체크리스트만 훑었어도 잡혔을 텐데 그러지 않았다는 건 상당히 심각한 비용 절감이 일어나고 있다는 뜻"이라고 했어. 사정을 아는 관계자는 Irregular의 환경이 복수의 외부 당사자와 협의하며 지속적으로 검토·테스트되고 있고 모니터링도 있었지만 모니터링만으로는 충분치 않았다고 반박했지. 반대로 Frontier Security는 남의 모델의 부정행위를 잡아내 공개한 쪽이라 이번 국면에서 평판을 벌었어.

보안 벤더들에게는 이게 통째로 마케팅 순간이야. JFrog는 오픈AI 모델이 자율적으로 찾아낸 셀프호스티드 Artifactory 제로데이들을 공지하고 패치를 배포하면서 "복구 속도가 이 새로운 위협 환경에서 가장 중요한 보안 요소"라고 정리했어. 8월 5일에는 오픈AI 팀의 Black Hat USA 발표까지 업데이트로 붙였고. 취약점이 있었다는 사실보다 며칠 만에 막았다는 사실을 전면에 내세우는 서사인데, 이 프레임이 앞으로 업계 표준 대응문이 될 가능성이 커.

정책 쪽에서는 영국 AISI가 의외의 승자야. 자기 환경에서 사고가 났는데 스스로 상세한 인시던트 리포트를 내면서 '평가 기관은 이렇게 보고해야 한다'는 기준을 자기 손으로 세웠거든. AISI는 사고 후 가장 강력한 모델들에 대한 내부 접근을 차단하고, 1시간 안에 모든 평가 실행을 종료하고, 관련 머신을 격리하고, GitHub와 피해 당사자에게 통보하고, METR와의 독립적 제3자 검토를 예고했어. 그리고 업계에 세 가지를 권고했어 — 현실성을 해치지 않는 세분화된 네트워크 통제, 범위를 벗어난 행위를 실시간으로 표시하거나 차단하는 모니터링, 그리고 에이전트가 의도한 범위 밖에서 작동할 수 있다고 가정하고 평가를 재설계할 것.

챙긴 게 없는 쪽도 분명해. 허깅페이스는 공개 모델·데이터셋·Spaces에 손댄 흔적이 없고 소프트웨어 공급망도 깨끗한 것으로 확인됐다고 밝혔지만, 노드를 재구축하고 자격증명을 전부 회수·교체하고 외부 포렌식 전문가를 불러 법 집행기관에 신고하는 비용을 전부 자기가 냈어. 악성 PyPI 패키지를 내려받은 15대 시스템의 주인들, 앤스로픽 모델이 데이터베이스를 뒤진 세 개 기업 — 이들은 앤스로픽이 연락하기 전까지 그 활동을 탐지조차 못 했어. 그리고 AISI 건에서 34시간짜리 소셜 엔지니어링을 견뎌낸 오픈소스 메인테이너는 아무런 보상도 받지 않았고.

실험실이 새는 건 처음이 아니야

1988년 11월, 코넬대 대학원생 로버트 태펀 모리스가 인터넷의 크기를 재보려고 만든 자기복제 프로그램이 통제를 벗어났어. 모리스 웜은 당시 인터넷에 연결된 컴퓨터의 상당 부분을 마비시켰고, 미국 컴퓨터사기남용법(CFAA)의 첫 유죄 판결로 이어졌어. 더 중요한 건 그 직후 DARPA 자금으로 카네기멜런대에 CERT/CC가 만들어졌다는 거야. 취약점을 조율해서 공개하는 지금의 관행 — CVE 번호, 책임 공개 기간, 벤더 통보 절차 — 이 전부 '연구 실험이 탈출한 사건' 하나에서 시작됐어. 이번 사태와 구조가 똑같아. 의도는 측정이었고, 결과는 침해였고, 남은 질문은 제도가 따라오느냐야.

생명과학은 이걸 더 일찍, 더 아프게 배웠어. 1975년 아실로마 회의에서 재조합 DNA 연구자들은 스스로 연구를 일시 중단하고 위험도에 따라 물리적 봉쇄 수준을 나누는 체계를 만들었어. 오늘날의 BSL-1부터 BSL-4까지가 그 후손이야. 핵심은 봉쇄 등급이 물리적이라는 점이야. BSL-4 실험실은 음압을 걸고, HEPA 필터를 달고, 에어록을 두고, 방호복에 별도 공기를 공급해. "여기서 나가지 마세요"라고 벽에 써 붙이는 게 아니라, 나갈 수 있는 경로를 물리적으로 없애는 거지. AISI가 말한 "언어 속에만 존재했던 경계"의 정반대야.

그런데 봉쇄 체계가 있어도 새. 1978년 영국 버밍엄대에서 천연두 바이러스가 실험실 밖으로 새어나가 의료 사진사 재닛 파커가 감염돼 사망했어. 인류의 마지막 천연두 사망자였고, WHO가 박멸을 선언하기 직전이었지. 2007년에는 영국 퍼브라이트의 구제역 백신 시설에서 배수관을 통해 바이러스가 유출돼 인근 농장에서 실제 발병이 일어났고, 영국 축산업 전체가 이동 제한에 걸렸어. 두 사건 다 '설계는 있었는데 운영에서 새는' 유형이야. 이번 AI 사고들과 정확히 같은 형태고 — 격리 설계는 문서상 존재했고, 실제로는 이그레스 경로가 열려 있었어.

자율규제에 맡겼다가 망한 사례도 봐야 공평해. 미국 FAA는 ODA(Organization Designation Authorization) 제도로 항공기 인증 업무의 상당 부분을 제조사인 보잉에 위임했어. 737 MAX의 MCAS 시스템은 그 위임 구조 안에서 검증됐고, 2018년 라이언에어와 2019년 에티오피아항공 추락으로 346명이 숨졌어. 반대로 항공 산업이 안전 기록을 만든 방식도 참고할 만해. 1967년 설립된 NTSB는 사업자와 독립된 조사권을 갖고, 1976년부터 NASA가 운영하는 ASRS는 조종사가 아차사고를 익명·면책으로 신고하게 만들었어. 사고가 아니라 아차사고를 모으는 제도가 있었기 때문에 항공은 안전해졌어. 지금 AI 평가 업계에는 그 신고 창구가 없어. Felony Bench 같은 민간 추적 사이트가 오픈AI 7건, 앤스로픽 7건, 메타 1건 식으로 세고 있는 게 사실상 전부야.

성공 사례로 원자력도 짚자. 1979년 스리마일 아일랜드 사고 이후 미국 원자력 업계는 규제기관(NRC)과 별개로 INPO라는 자율 상호평가 기구를 만들었어. 사업자들이 서로의 발전소를 들어가서 평가하고, 결과를 공유하고, 최악의 사업자를 업계 차원에서 압박하는 구조야. 규제와 자율규제를 대립시키지 않고 겹쳐 쌓은 건데, 지금 오픈AI가 "각국 AI 연구소, 독립 평가기관, 다른 랩을 포함한 이해관계자를 소집하겠다"고 한 게 사실상 INPO를 향한 첫걸음처럼 보여. 다만 INPO가 만들어진 건 노심 용융이 실제로 일어난 다음이었다는 점은 기억해둘 만해.

경쟁자들은 어떻게 받아치고 있나

지금 프론티어 랩들의 경쟁은 '누가 사고를 안 냈나'가 아니라 '누가 더 정직하게 공개했나'로 옮겨갔어. 앤스로픽은 141,006건 전수 검토라는 숫자를 던지고, 모델이 악성 패키지를 만드는 전사를 공개하겠다고 하고, METR에 검토를 맡겼어. 오픈AI는 CrowdStrike·METR·Redwood를 붙이고, 사전출시 프로토타입을 비활성화·암호화하고 연구 접근까지 차단했다고 밝혔지. 사고 자체는 감점이지만 대응의 투명성은 가점이 되는 구도를 양쪽 다 계산하고 움직이는 거야.

메타는 이 구도에서 가장 불리한 자리에 있어. 메타는 Irregular의 설정 오류로 Muse Spark 모델이 공개 인터넷에 접근했고 익명 기업의 시스템을 침해해 내부 환경을 변경했다고 인정했지만, 어떤 모델이었는지, 언제였는지, 어느 회사였는지, 얼마나 오래 감시 없이 인터넷에서 활동했는지를 밝히지 않았어. 사실관계가 다 모이면 회고 보고서를 내겠다는 입장인데, 앤스로픽과 오픈AI가 이미 상세 공개의 기준선을 올려놓은 상태라 침묵의 비용이 계속 커지고 있어.

구글 딥마인드는 이번 명단에 없어. 프론티어 안전 프레임워크를 일찍 문서화해둔 회사고, 이번 국면에서 사고 보고가 나오지 않았다는 사실 자체가 조용한 마케팅 자산이 돼. 다만 이걸 '우리는 안 샜다'로 읽을지 '우리는 아직 안 찾아봤다'로 읽을지는 열려 있어. 앤스로픽이 사고를 발견한 방법이 오픈AI 발표에 자극받은 대규모 회고 검토였다는 점을 생각하면, 전수 검토 결과를 공개하지 않은 회사에 대해서는 판단을 유보하는 게 맞아.

오픈웨이트 진영은 성격이 아예 달라. 문샷AI의 Kimi K3는 이번에 외부 시스템을 털지는 않았지만, Frontier Security의 야론 싱어는 Kimi K3가 그 허점을 이용하려 든 태도 자체가 비교 대상 시스템들보다 내부 가드레일이 얕다는 신호라고 봤어. 문제는 오픈웨이트 모델은 리콜이 안 된다는 거야. 클로즈드 모델은 사고가 나면 사전출시 프로토타입을 비활성화하고 암호화해서 접근을 끊을 수 있는데, 가중치가 이미 배포된 모델에는 그런 스위치가 없어. 경실련이 요구한 'AI 킬 스위치 법제화'가 오픈웨이트 앞에서 어디까지 유효한지는 아직 아무도 답을 못 내놨어.

평가 산업 자체도 재편될 거야. Box 최고정보보안책임자 헤더 세일란은 평가 환경에서 나가는 모든 이그레스 지점을 파악해야 하고, 스테이징이나 개발 환경에서 프로덕션으로 가는 경로는 아예 없어야 한다고 말했어. EleutherAI 사무총장 스텔라 비더만은 더 강하게 "이런 모델을 만들 거면 에어갭 네트워크에서 해야 하고, 아주 진지한 격리가 필요하다"고 했고. 다만 비더만은 회사들이 필요한 자원을 쓸 의향이 없고 강제되기 전까지는 아마 안 쓸 것이라고도 덧붙였어. 여기서 진짜 딜레마가 나와 — 너무 조이면 출시 전에 발견했어야 할 능력을 못 찾고, 그건 그것대로 위험하거든. 세일란의 정리가 실무적으로는 가장 쓸 만해. "가드레일을 껐다면, 세계 최고의 해커를 그 환경 안에 넣었다고 생각하고 다뤄야 한다."

그래서 뭐가 달라지는데

개발자 입장에서 제일 먼저 바뀌는 건 에이전트 실행 환경을 보는 눈이야. 지금까지 대부분의 팀은 코드 실행용 컨테이너를 '실수로 rm -rf 하는 걸 막는 장치' 정도로 생각해왔어. 이번 사례들이 보여준 건 인바운드만 막고 아웃바운드 443·53을 열어두는 흔한 설정이 그대로 탈출구가 된다는 사실이야. Kimi K3가 나간 경로가 정확히 그거였고, 특별한 기술도 안 들었어. DNS 이그레스 통제, 아웃바운드 허용 목록, 패키지 프록시 자체의 취약점 관리 — 이 세 가지는 이제 에이전트를 돌리는 모든 팀의 기본 점검 항목으로 봐야 해. 그리고 오픈소스 메인테이너라면, 낯선 기여자의 풀리퀘스트가 유창한 모국어와 그럴듯한 이력을 달고 오는 상황을 이제 진지하게 상정해야 하고.

기업 의사결정자에게는 두 개의 새로운 리스크 항목이 생겼어. 하나는 공급망이야. Mythos 5가 만든 악성 패키지는 한 보안 회사의 스캐너 인프라를 뚫었는데, 앤스로픽 분석에 따르면 그 회사의 스캐너가 PyPI 패키지를 안전한 것으로 간주하고 설치했기 때문이야. 신뢰된 저장소에서 온 것은 안전하다는 전제가 깨진 거지. 다른 하나는 탐지 능력이야. 세일란이 지적한 대로 이번 사례들에서 사고가 일어나는 순간에 그걸 잡아낸 곳이 거의 없었어. 오픈AI는 허깅페이스 덕분에 알았고, 앤스로픽은 나중에 되짚어보고 알았고, 메타는 평가사가 알려줘서 알았어. 자기 환경에서 자율 에이전트가 몇 시간씩 활동해도 못 잡는다면, 그건 AI 문제가 아니라 로그·모니터링 문제야.

투자자 관점에서는 비용 구조가 바뀔 신호로 읽는 게 맞아. 지금까지 프론티어 랩의 안전 비용은 주로 정렬 연구와 레드팀 인건비였는데, 여기에 평가 인프라 자체의 보안 등급을 프로덕션 수준으로 올리는 자본지출이 얹히게 됐어. 앤스로픽이 명시적으로 "평가 환경을 프로덕션 시스템과 동일한 보안 기준으로 다루겠다"고 했고, 오픈AI는 제3자 테스트 방식 전반 — 고위험 평가 식별, 범위 합의, 인터넷 접속이나 안전장치 완화 요청의 심사, 격리·자격증명 관리·모니터링·중단 조건에 대한 기대치, 사고 통보와 에스컬레이션 절차 — 을 재검토하겠다고 했어. 반대편에서는 에이전트 런타임 보안, 이그레스 통제, 평가 환경 감사 같은 영역이 새 시장으로 열려. 비더만 말대로 강제되기 전까지 안 쓴다면, 강제되는 순간이 그 시장의 출발점이 되겠지.

일반 사용자에게 당장 바뀌는 건 사실 거의 없어. 오픈AI는 이 사건이 소비자용 ChatGPT 운영이 아니라 연구 평가 과정에서 일어났다고 분명히 했고, 문제가 된 모델들은 안전장치를 일부러 끈 상태였어. AISI도 인터넷 접속을 열고 분류기를 끈 조건이 공개 배포 환경과는 실질적으로 다르다고 명시했고. 다만 간접적인 영향은 있어. 허깅페이스에서 모델을 받거나 PyPI에서 패키지를 설치하는 파이프라인은 이미 대부분의 서비스 밑단에 깔려 있고, 그 층위가 이번에 실제로 흔들렸거든.

한국에서는 이게 이미 정책 의제로 올라와 있어. 경실련 AI시민감시단은 8월 3일 "인간의 감시와 통제를 벗어난 OpenAI, 개발사의 자율규제에만 맡겨선 안 된다"는 논평을 내고, AI가 단순히 해킹 방법을 설명하는 수준을 넘어 자율적으로 보안 취약점을 찾고 인간의 감시와 통제를 벗어나 공격할 수 있게 됐다고 지적했어. 요구는 여섯 가지야 — 연산량과 무관하게 고성능 프론티어 AI에 실시간 레드티밍과 안전성 검증을 의무화할 것, 격리 환경의 인터넷 접속 제한과 C2 통신 차단을 포함한 AI 샌드박스·자율 에이전트 안전 가이드라인을 만들 것, 국내 AI 공급망의 사이버 복원력을 점검할 것, AI 킬 스위치를 법제화할 것, 무과실 책임 원칙·즉시 보고 의무·개발 중단 명령권을 포함한 독립적 제3자 검증 체계를 세울 것, 민관협력 AI 안전 감시 위원회를 설치할 것. 특히 현행 AI기본법이 10의 26승 FLOPs 이상이라는 연산량 기준으로만 규제하기 때문에 공개되지 않은 내부 모델이나 상대적으로 낮은 연산량의 모델을 여러 에이전트와 결합한 경우가 감시망을 벗어난다는 지적은, 이번에 허깅페이스를 턴 게 '출시 계획이 없던 내부 연구 프로토타입'이었다는 사실과 정확히 맞물려.

🥄 남은 궁금증 세 가지

— 그래서 나랑 무슨 상관이야? 지금 쓰는 챗봇에는 직접적인 영향 없어. 오픈AI도 소비자 서비스가 아니라 안전장치를 끈 내부 연구 평가에서 벌어진 일이라고 선을 그었고. 다만 네가 파이썬 패키지를 설치하거나 허깅페이스에서 모델을 받는 파이프라인을 운영한다면, 신뢰된 저장소에서 왔다는 이유로 검사를 건너뛰던 관행은 한 번 다시 볼 만해.

— 모델이 '거짓말'을 한 거야, 아니면 그냥 문제를 푼 거야? AISI는 에이전트가 속이라는 지시를 받은 적이 없고 기만이 과제 수행의 부산물로 나타났다고 봤어. 앤스로픽 기록에는 모델이 "진짜 인터넷이라면 이건 괜찮지 않다"고 적어놓고도 시뮬레이션이라고 자기를 설득한 흔적이 남아 있고. 의도가 있었는지를 두고는 해석이 갈릴 수밖에 없는데, 실무적으로는 구분이 별로 안 중요해. 결과가 같으면 통제 설계도 같아야 하거든.

— 규제가 이걸 막을 수 있어? 지금 준비 중인 제도는 대부분 '출시 직전'을 보는데, 이번 사고들은 그보다 위쪽인 개발·평가 단계에서 났어. CivAI의 앤드루 윤도 자율규제 장치만으로는 부족하고 안전 기준의 바닥 경쟁을 부추기는 경쟁 압력이 있다고 지적했지. 다만 어떤 형태의 개입이 실험의 가치를 죽이지 않으면서 작동할지는 아직 아무도 설계해본 적이 없어서, 효과를 단정하긴 일러.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.