美 CAISI, Google·Microsoft·xAI 프런티어 모델 출시 전 안보 평가 합의 — OpenAI·Anthropic도 재계약

美 정부가 5대 프런티어 랩 전부에 도장을 찍었다

5월 5일 워싱턴, 美 상무부 NIST 산하 CAISI(Center for AI Standards and Innovation)가 한 줄짜리 발표로 미국 AI 규제 지도를 다시 그렸어. Google DeepMind·Microsoft·xAI 세 회사와 프런티어 AI 모델 출시 전 국가안보 평가 협약을 체결했고, 동시에 OpenAI·Anthropic은 2024년 8월 협약을 트럼프 'AI 행동계획'에 맞춰 재계약했다는 거야. 결과적으로 미국 5대 프런티어 랩 전부가 정부 사전 평가 체계에 편입됐어. 이게 진짜 굵직한 변화야 — 트럼프 행정부가 'AI는 자율 규제'에서 '정부 사전 검사'로 stance를 바꿨다는 신호고, 4월 Anthropic Mythos 프리뷰가 자율적으로 수천 개 고심각도 취약점을 발견하면서 방어 측을 흔든 게 결정적 트리거였어.

각 주체 — CAISI, 5대 프런티어 랩, 백악관

먼저 CAISI. 2024년 NIST 산하에 설치된 'Center for AI Standards and Innovation'으로, 바이든 시대에 'US AISI(AI Safety Institute)'로 출발했다가 2025년 트럼프 행정부에서 '안전' 단어를 빼고 'Standards and Innovation'으로 리브랜딩됐어. 지금까지 40개 이상 모델 평가를 수행했고, 사이버·생물·화학(CBRN) 위협 영역에 집중해. 평가 시 '안전장치를 줄이거나 완전히 제거한 모델'을 받아서 최악의 시나리오를 시뮬레이션하는 게 특징이야. 평가 결과는 국방부·CIA·NSA·DOE 등이 참여하는 TRAINS Taskforce로 전달돼.

Google DeepMind는 이번에 처음 CAISI 협약에 서명한 회사야. CEO Demis Hassabis가 4월에 'AI 안전 거버넌스에 대한 공개 서신'을 발표하면서 톤을 잡아 왔고, 이번 협약은 그 연장선이야. Google이 차기 Gemini 3 시리즈 출시 전 평가를 받아야 한다는 건 출시 일정에 30-90일 영향이 있을 수 있어.

Microsoft는 OpenAI 모델을 Azure로 재배포하는 입장이지만, 이번에 자체 Phi 시리즈와 Microsoft 자체 LLM 개발 계획을 명시적으로 평가 대상에 포함시킨 게 의미가 커. 즉 Microsoft가 'OpenAI 의존 → 자체 프런티어 모델' 방향성을 제도적으로 인정한 거지.

xAI는 머스크-트럼프 관계의 변화를 가장 잘 보여주는 사례야. xAI Grok 4·5가 사전 평가 대상에 들어가면서 머스크가 트럼프 행정부와 정책적으로 밀접해지는 흐름이 강화됐어. Anthropic-SpaceX 컴퓨팅 계약(같은 주 발표)과 묶어서 보면 머스크가 AI 인프라·정책 양쪽에서 모두 핵심 플레이어로 굳어진 그림이야.

OpenAI·Anthropic은 2024년 8월 바이든 시대 MOU를 트럼프 행정부 'AI 행동계획'에 맞춰 재계약했어. 핵심 변경점은 '자발적 제출 → 사전 통보 의무화', '평가 결과 공개 → 비공개 디폴트', '평가 비용 정부 부담 → 일부 기업 부담'으로 알려져 있어.

NIST 공식 발표문에 따르면 CAISI는 출시 전 평가와 표적 연구를 수행해 프런티어 AI 능력을 더 잘 평가하고 AI 보안 상태를 진전시킨다.

핵심 내용 — 5대 랩 + 3대 영역 + 사전 평가 의무

협약 핵심을 표로 정리하면 이렇게 돼.

회사	협약 시점	평가 영역	비고
OpenAI	2024-08 → 2026-05 재계약	Cyber·Bio·Chem	평가 비용 일부 자비 부담
Anthropic	2024-08 → 2026-05 재계약	Cyber·Bio·Chem	가장 깊은 cyber 평가
Google DeepMind	2026-05-05 신규	Cyber·Bio·Chem	Gemini 3 출시 전 적용
Microsoft	2026-05-05 신규	Cyber·Bio·Chem	자체 프런티어 모델 포함
xAI	2026-05-05 신규	Cyber·Bio·Chem	Grok 4·5 평가 대상

평가 영역은 세 갈래야. 사이버 보안에서는 자율 취약점 발견·익스플로잇 작성·네트워크 침투 능력을 시험해. 생물·화학 위협에서는 위험 병원체 합성 경로·화학무기 합성 능력을 시험해. 이걸 '평가 시 안전장치 제거' 조건에서 시뮬레이션하는 게 핵심이야 — 즉 모델이 보안 가이드 없이 어디까지 가는지를 측정하는 거지.

사전 평가 흐름은 이래. 회사가 출시 30-60일 전 모델을 CAISI에 제출 → CAISI가 7-9개 벤치마크에서 평가(공개·비공개 혼합) → 결과를 TRAINS Taskforce(국방부·CIA·NSA·DOE)로 송부 → 국가안보 위협 신호 시 출시 차단 또는 완화 조치 권고 → 회사가 30일 안에 응답. 평가 결과 자체는 공개되지 않지만, '평가 완료' 자체는 공개되는 구조야.

이 구조에서 가장 중요한 변화는 '의무화'야. 2024년 협약은 자발적 제출이었는데, 2026년 재계약은 '사전 통보 의무화'로 바뀌었어. 즉 회사가 출시 일정을 정부에 사전에 알려야 하고, 정부가 평가 시간을 확보해야 한다는 거지. 이게 GPT-6·Claude Opus 5·Gemini 3 출시 일정에 영향을 줄 수 있어.

각자의 이득 — 정부, 5대 랩, 동맹국

미국 정부에는 두 가지 이득. 첫째 '프런티어 AI 능력 가시성'. 정부가 GPT-6·Gemini 3 같은 차세대 모델 능력을 출시 전에 봐. 사이버 자율 공격·바이오 위협 능력에서 어떤 진전이 있는지 알면, 그에 맞춰 방어 체계·해외 정보·기술 통제 정책을 조정할 수 있어. 둘째 '국제 협상력'. 미국이 자국 5대 랩을 정부 검사 체계에 넣었다는 건 영국·EU·일본 등 동맹국과의 AI 거버넌스 협상에서 '레퍼런스 모델'로 쓸 수 있다는 의미야.

5대 랩에는 양면 이득. 이득은 '규제 명확성'. 어떤 영역에서 평가받는지, 어떤 결과가 출시 차단으로 이어지는지가 명확해지면서 R&D 투자 우선순위가 정해져. 또 '경쟁 보호'. 미국 5대 랩만 평가 체계에 들어가면 China·EU 회사들과 경쟁하는 데 유리한 수출 통제·정부 조달 우선순위가 따라와. 손해는 '출시 일정 지연 + 평가 비용'. GPT-6 출시가 30-90일 늦어지고 평가 비용 일부를 자비 부담하면 단기 매출에 영향이 있어.

동맹국(영국·EU·일본·호주)에는 '미국 모델을 그대로 가져와도 안전하다'는 신호가 와. 영국 AISI(AI Safety Institute)와 미국 CAISI가 평가 결과를 공유하는 구조가 2024년부터 있는데, 이번 협약으로 그 흐름이 강화돼. 결과적으로 동맹국이 자체 평가 인프라를 짓지 않아도 미국 평가에 의존할 수 있게 돼.

China·Russia에는 두 갈래 신호. 첫째 '미국 AI 모델 능력에 대한 정부 가시성 강화 = 군사 응용 가능성 높아짐'. 둘째 '미국이 자국 모델을 정부 통제로 묶었다 = 수출 통제·기술 봉쇄가 더 강해질 것이다'. 두 신호 모두 China가 자체 프런티어 모델(DeepSeek V4·Qwen 4·MiniMax 시리즈) ramp을 가속화하게 만드는 압박이야.

과거 유사 사례 — 성공과 실패

성공 사례 1번: FDA 신약 출시 전 임상시험 의무화 (1962). 사이도마이드 사태 이후 미국이 FDA에 의약품 출시 전 임상시험을 의무화했고, 50년 동안 미국 제약 산업이 글로벌 1위로 굳어졌어. 사전 평가 체계가 제약 산업 경쟁력을 약화시키지 않고 오히려 강화했다는 게 교훈인데, AI에서도 비슷한 곡선을 그릴 수 있다는 게 옹호 측 시각이야.

성공 사례 2번: 핵무기 비확산조약(NPT) + IAEA 사찰 체계 (1968-현재). 핵 기술 보유국이 자국 기술을 IAEA 사찰에 노출하는 대신 평화적 이용 권리·기술 공유 우선권을 받는 구조였는데, 미국·러시아·영국·프랑스·중국 5대 보유국이 공조하면서 핵 비확산이 작동했어. AI 거버넌스도 비슷한 '5대 강국 + 사찰' 모델로 갈 수 있다는 게 정책가 시각이야.

실패 사례 1번: 인터넷 자율 규제 시대 (1996-2018). 미국이 Section 230으로 인터넷 플랫폼에 자율 규제를 맡겼는데, 결과적으로 가짜 정보·괴롭힘·아동 안전 문제가 통제 불가능하게 커졌어. AI도 자율 규제로 두면 같은 문제가 생긴다는 게 사전 평가 의무화의 논리적 뿌리야.

실패 사례 2번: GDPR 1차 단계 ramp (2018-2020). EU가 GDPR로 데이터 규제를 강화했는데, 첫 2년 동안 시행 가이드라인 모호 + 회사 응답 비효율 + 규제 비용 폭증으로 EU 테크 산업이 크게 흔들렸어. CAISI 평가도 시행 1-2년차에 비슷한 ramp 비용·일정 지연을 겪을 가능성이 있어.

경쟁자 카운터 플레이 — China, EU, 영국

China는 자체 평가 체계 구축으로 응수해. 中 사이버공간관리국(CAC)이 2024년부터 LLM 출시 전 등록제를 운영 중이지만, 미국 CAISI 같은 깊은 능력 평가가 아니라 콘텐츠 검열 수준이야. 5월 7일 기준 中 정부가 자체 'AI 능력 평가 센터' 신설을 검토 중이라는 보도가 있어 — 미국 CAISI 모델을 따라가면서 동시에 자체 표준을 세우려는 흐름이지.

EU는 AI Act 시행 단계에 들어갔는데, 미국 CAISI보다 광범위한 'general-purpose AI 모델' 정의로 영역을 더 크게 잡았어. 다만 EU AI Act 평가 인프라가 CAISI보다 6-12개월 뒤처져 있어서, 단기적으로는 미국이 글로벌 AI 거버넌스 표준을 주도하는 흐름이 굳어져.

영국은 영국 AISI(AI Safety Institute)를 중심으로 미국 CAISI와 평가 결과 공유 협정을 가져 왔는데, 이번 5대 랩 전체 편입이 영국 AISI에게도 데이터 풀이 커지는 이득이야. 다만 영국 AISI 자체 평가 능력은 미국 대비 30-40% 수준이라, 사실상 미국 평가에 의존하는 모양새야.

캐나다·호주·일본·한국은 미국·영국과의 5-Eyes/AUKUS·QUAD 채널로 정보 일부를 받지만, 자체 평가 인프라는 거의 없어. 한국 정부가 2026년 안에 'AI 안전평가원' 신설을 발표할 가능성이 있고, 일본은 NEDO 산하에 비슷한 조직을 검토 중이라는 보도가 있어.

그래서 뭐가 달라지는데 — 개발자·창업자·투자자·일반 사용자

개발자에게는 두 가지 변화. 첫째 차기 모델(GPT-6·Claude Opus 5·Gemini 3) 출시가 30-90일 늦어질 가능성. 사전 평가 시간이 추가되면서 회사들이 출시 일정을 보수적으로 잡아. 둘째 '안전 정렬·가드레일' 영역의 수요 증가. 사이버·바이오·화학 위협 평가에서 좋은 점수를 받으려면 정렬 R&D가 강화돼야 해서, 안전 엔지니어 채용이 늘어.

창업자에게는 'AI 응용 스타트업의 모델 선택 = 정부 평가받은 모델로 좁아진다'는 흐름. CAISI 평가받은 모델만 정부 조달·금융·헬스케어 등 규제 산업에 들어갈 수 있게 되면, 응용 스타트업이 그 모델 위에 짓는 게 더 안전해져. China 모델(DeepSeek V4·Qwen 4)이 미국 정부 조달에서 사실상 배제되는 흐름도 명확해져.

투자자에게는 'AI 안전·평가·정렬 분야가 새 카테고리로 떠오른다'는 신호. 2026년 안에 'AI Safety Engineering as a Service' 회사들이 시리즈 A·B 라운드 다수 발표될 거야. 또 5대 랩 외 신규 진입(Reflection AI, Mistral, MiniMax 등)이 미국 시장에 들어오려면 같은 평가 체계를 통과해야 해서 진입 장벽이 높아져.

일반 사용자에게는 'AI 모델 능력 신뢰도가 높아진다'는 게 직접 효과. 정부가 사이버·바이오·화학 위협 평가를 통과한 모델만 시장에 나오니, 일반 소비자가 ChatGPT·Claude·Gemini를 쓸 때 안전성에 대한 신뢰가 더 두터워져. 다만 모델 출시 일정이 늦어지는 트레이드오프도 받아들여야 해.

스테이크

• Wins: Howard Lutnick (상무부 장관) — 5대 프런티어 랩 전부 정부 평가 체계 편입 성과; CAISI/NIST — 평가 인프라 확대 + 예산·인력 증가; 영국·EU·일본 동맹국 — 미국 평가 결과 공유로 자체 인프라 부담 완화.
• Loses: 미국 5대 랩(OpenAI·Anthropic·Google·Microsoft·xAI) — 출시 일정 지연 + 평가 비용 일부 자비 부담; China(DeepSeek·Alibaba·MiniMax) — 미국 시장 진입 장벽 강화; EU AI Act 진영 — 미국 CAISI가 글로벌 표준 주도하면서 EU 영향력 약화.
• Watching: 한국·일본 정부 — 자체 평가 인프라 신설 시점; UN·OECD — 글로벌 AI 거버넌스 프레임워크 어떻게 만들지; 학계(Yoshua Bengio·Geoffrey Hinton 등) — 평가 의무화의 실질 효과 평가.

반대 의견 — '사전 평가는 검열·보호주의'

Marc Andreessen (a16z 공동창업자) 같은 자유시장 옹호자는 "사전 평가 의무화는 사실상 정부 검열이고 미국 5대 랩 보호주의"라고 지적해 왔어. 미국 5대 랩만 평가 체계에 들어가면 신규 진입(Reflection·Mistral 등) 진입 장벽이 높아지고, 결국 빅5 카르텔이 굳어진다는 거지. 또 평가 결과가 비공개이기 때문에 '정부가 어떤 기준으로 출시를 차단하는지' 불투명해서 자의적 권한 남용 가능성이 있어.

Yann LeCun (Meta AI Chief) 같은 회의론자는 "현재 LLM은 사이버·바이오·화학 위협 평가의 진짜 위험을 보이지 않고, 평가 자체가 정치적 퍼포먼스"라고 비판했어. CAISI 평가 결과 비공개도 학계 검증이 어렵게 만들어서 평가 신뢰도에 의문이 생겨.

회의론은 두 갈래로 정리돼. 첫째 '평가 의무화 = 신규 진입 장벽 + 빅5 카르텔'. 둘째 '평가 능력의 실효성 = 현재 LLM 능력으로는 의미 있는 위협 평가 어려움'. 두 변수 모두 'CAISI 평가가 보안을 강화하는 것이 아니라 보호주의를 강화한다'는 비판으로 수렴해.

3줄 요약

• CAISI(NIST)가 5월 5일 Google·Microsoft·xAI와 사전 평가 협약 + OpenAI·Anthropic 재계약 → 美 5대 프런티어 랩 전부 편입.
• 사이버·바이오·화학 위협 영역에서 출시 전 정부 평가 의무화, 결과 비공개·일부 비용 회사 부담.
• GPT-6·Claude Opus 5·Gemini 3 출시 일정 30-90일 영향 가능, 안전 엔지니어 수요 증가.

참고 자료

• CAISI signs agreements regarding frontier AI national security testing — NIST
• Microsoft, Google and xAI will let the government test their AI models before launch — CNN
• Trump admin moves further into AI oversight — CNBC
• NIST will review new AI models from Google, Microsoft, xAI before release — Washington Post
• Microsoft, Google, xAI give US access to AI models for security testing — Al Jazeera