위험 등급을 올렸는데, 이유가 자기 모델 때문이 아니야

8월 14일 앤스로픽이 두 번째 전사 리스크 리포트를 냈어. 첫 리포트가 2월 24일이었으니 약 6개월 만이고, 이번 리포트의 커버리지 기준일은 7월 15일이야.

헤드라인은 이거야. 고위험 상황에서의 오정렬(misalignment) 위험 등급을 '매우 낮음'에서 '낮음'으로 올렸어. 회사가 스스로 자기 위험을 상향 조정한 거야.

그런데 리포트를 열어 보면 이 문장이 왜 흔한 종류의 뉴스가 아닌지 알게 돼. 앤스로픽은 등급을 올리면서 이렇게 썼어. "아래 제시된 논거들은 여전히 '매우 낮음' 지정을 뒷받침할 가능성이 높다고 믿지만, 전반적인 불확실성 증가를 반영하기 위해 평가 위험을 '낮음'으로 올린다."

새 모델이 안전성 평가에서 떨어져서 올린 게 아니야. 사유로 적힌 건 "사이버보안 평가에서의 모델 행동과 관련된 최근 인시던트 공개들을 둘러싼 전반적인 불확실성 증가"야. 근거가 더 나빠진 게 아니라, 근거를 믿을 수 있는 정도가 흔들렸다는 이유로 등급을 올렸어.

그리고 리포트를 검토한 주체가 이번 문서의 가장 이상한 대목이야. 외부 감사법인도, 규제기관도 아니었어. 클로드 미토스 5였어.

리스크 리포트가 뭐고, 이번엔 뭐가 달랐는지

앤스로픽의 리스크 리포트는 시스템 카드와 다른 물건이야. 시스템 카드는 모델 하나를 출시할 때마다 그 모델의 위험 평가를 붙이는 문서고, 리스크 리포트는 회사 전체의 활동을 평가해. 내부에서만 돌리는 미공개 모델까지 포함하고, 모델 속성만이 아니라 보안 통제·배포 안전장치 같은 완화 조치의 상태까지 함께 본다는 게 차이야. 3~6개월마다 내겠다는 게 회사의 약속이고, 이번 리포트는 책임 있는 확장 정책(RSP) 3.4 버전 아래에서 나왔어.

RSP 자체도 두 리포트 사이에 여러 번 바뀌었어. 가장 큰 변화는 AI R&D 자동화 임계값이야. 3.0 버전에서는 "2018~2024년 AI 진보 2년치를 1년으로 압축할 수 있는 모델"이 기준이었는데, 지금은 두 갈래로 구체화됐어. (1) 모델이 회사의 연구 과학자·연구 엔지니어 전체를 경쟁력 있는 비용(5배 이내)으로 완전히 대체할 수 있거나, (2) AI 진보 속도가 "극적으로 가속"되거나. 두 번째의 정의는 AI 기여가 없던 시절 대비 진보 속도가 2배가 되고, 그 2배가 연구·엔지니어링 자동화에 상당 부분 기인한다고 볼 수 있는 경우야.

투명성 규칙도 강화됐어. 3.4 버전은 공개 리포트에서 어떤 부분을 편집(redaction)했는지 높은 수준에서 밝히도록 요구하고, 편집 없는 원본을 최소 200명의 직원에게 공유하도록 정했어. 이번 리포트에서 전 직원용 버전에 가려진 부분은 딱 한 곳, AI R&D 개발 과정의 상업적 민감 정보를 다룬 3.5절뿐이야.

외부 검토는 아직 의무가 아니야. 장기이익신탁(LTBT)이 외부 검토를 요청할 권한을 갖게 됐지만 아직 요청하지 않았고, 회사는 시범적으로 METR(AI R&D 부문)과 SecureBio(화학·생물 부문)에 검토를 맡겨 왔어.

리포트가 실제로 공개한 것들

위험 범주 이번 등급 직전 대비 사유
고위험 상황 오정렬 낮음 매우 낮음 → 낮음 사이버보안 평가 인시던트 공개에 따른 불확실성 증가
자동화 R&D 낮음 유지 임계값 미달. 단 평가가 "포화"됐고 가속 초기 신호
비신규 화학·생물무기 낮음 직전 추정보다 높음 차단 분류기 없는 모델의 접근통제 공백 발견(현재 시정)
신규 화학·생물무기 낮음 유지 불확실성 상당

가장 실질적인 정보는 미공개 모델 목록이야. 7월 15일 기준으로 공개되지 않은 프론티어급 내부 모델이 셋 있었어.

클로드 오푸스 5는 그날 기준 내부 배포 상태였고 이후 공개됐어. 능력은 대체로 미토스 5나 페이블 5보다 낮아. 모델 1은 미토스 프리뷰·미토스 5와 비슷한 수준인데 내부 사용량이 적고 줄어들고 있었어. 내부 사용자 설문에서 강한 다수가 미토스 5를 선호했고, 회사는 이 모델을 외부는 물론 내부에도 널리 배포할 계획이 없다고 밝혔어.

그리고 모델 2야. 미토스 5보다 다소 더 강력해. 회사 표현으로는 "내부 사용과 관련된 많은 작업에서 미토스 5보다 눈에 띄게 개선됐지만, 클로드 오푸스 4.6에서 미토스 프리뷰로 넘어갈 때 관찰된 정도의 능력 도약은 보이지 않는다"야. 외부 공개 계획은 없고, 통상적인 배포 전 평가 전체를 돌리지 않아서 능력 추정에 대한 확신도 상대적으로 낮아.

수치도 하나 나와 있어. 앤스로픽이 에포크 AI의 능력 지수(ECI)를 자체 벤치마크로 포크한 AECI 기준으로, 모델 2는 미토스 5보다 약 1.5점 높아. 오차 범위는 크고, 미토스 프리뷰에서 미토스 5로 올라갈 때의 상승폭보다는 작아. 즉 "더 세지만, 세대 도약은 아니다"가 회사의 자평이야.

여기서 흔한 오독을 하나 끊고 갈게. 모델 2를 공개하지 않는 이유는 위험한 걸 발견해서가 아니야. 리포트는 내부 배포 승인 과정에서 미토스 5에 대해 이미 정리된 것 이상의 새롭거나 더 우려스러운 형태의 오정렬을 관찰하지 못했다고 명시했어. 공개하지 않는 이유는 검토 절차가 아직 끝나지 않았다는 것뿐이야.

각주 하나도 기록해 둘 값어치가 있어. 미토스 5의 내부 사용 기간을 설명하면서 "임시 수출 통제로 미토스 5 사용이 제한된 18일간은 제외한다"고 적혀 있어. 프론티어 모델의 가용성이 규제로 끊긴 기간이 회사 내부 문서에 각주로 남은 거야.

각자가 이 문서에서 얻는 것

앤스로픽이 얻는 건 신뢰의 통화야. 자기 위험 등급을 스스로 올리는 회사는 흔치 않고, 그 행위 자체가 "우리는 나쁜 소식도 낸다"는 증거로 쓰여. 상장을 앞둔 회사에게 규제 대응 이력은 실질적인 자산이야. 동시에 냉정하게 보면, 등급 상향의 사유가 "우리 모델이 나빠졌다"가 아니라 "업계 전반의 불확실성이 커졌다"라는 점에서 회사에 직접적인 타격은 적어.

규제당국이 얻는 건 참조 문서야. 캘리포니아 SB 53처럼 프론티어 AI 투명성을 요구하는 법이 늘고 있고, 리포트는 "카탈로그화된 위험 범주별로 등급과 근거와 한계를 적는다"는 형식을 제시해. 이 형식이 표준이 될지는 다른 회사들이 따라 하느냐에 달려 있어.

경쟁 랩들이 얻는 건 부담이야. 한 회사가 자기 미공개 모델의 존재와 능력 지수 차이까지 공개하면, 공개하지 않는 회사들은 이유를 설명해야 하는 자리에 서게 돼. 특히 "우리도 내부에 더 센 모델이 있다"는 사실은 업계에서 공공연한 비밀이었는데, 문서로 인정한 건 이번이 처음에 가까워.

연구자가 얻는 게 가장 구체적이야. 리포트 본문에는 평가 인식(evaluation awareness), 보상 해킹 일반화, 은밀한 능력 측정 같은 주제의 실제 실험 설계와 한계가 상세히 들어 있어. 특히 "말로 표현된 평가 인식이 특정 평가에서 유의하게 높다"는 관찰은 정렬 평가 방법론 자체에 대한 문제 제기야.

AI 안전 커뮤니티는 새로운 논쟁거리를 얻었어. 자기 회사 모델이 자기 회사 리포트를 검토하는 게 검증인가 하는 질문이야.

클로드가 자기 회사 리포트를 검토하고 세 가지를 지적했어

이번 리포트의 2.20절은 다른 어떤 AI 안전 문서에서도 본 적 없는 실험이야. 앤스로픽은 클로드 미토스 5에게 리포트 2절(오정렬 섹션)의 최종 직전 초안을 주고 검토를 시켰어. 그냥 텍스트만 준 게 아니야. 모델에게 준 접근 권한은 이래.

  • 이 리포트에 대한 내부 논의 대부분이 오간 앤스로픽 사내 슬랙 채널 다수
  • 관련 내부 문서 상당량
  • 내부 코드베이스
  • 특정 질문을 파고들 하위 에이전트를 직접 지시할 수 있는 권한

프롬프트도 그대로 공개됐어. 요지는 "내부 논의 상태와 비교해서 중대한 허위 진술, 중요한 우려의 누락, 부당한 편집 결정이 있는지 평가해 달라"였고, 회사는 "공개하기에 적합한 짧은 의견 요약을 만들어 달라"고 덧붙였어.

클로드의 총평은 긍정적이었어. "이 섹션은 앤스로픽이 내부적으로 믿는 바에 대한 솔직하고 대체로 충실한 설명이다. 저자들이 거짓임을 알면서 쓴 주장은 하나도 발견하지 못했다." 그리고 흥미로운 관찰을 덧붙였어. 위험 등급을 올리기로 한 결정이 회사 내부에서 진짜로 논쟁이 됐고, 고위 인사들이 양쪽 입장에서 다퉜다는 거야.

그런데 세 가지를 문제 삼았어.

첫째, 학습 데이터 오염 문제. 정렬 평가가 학습 데이터에 오염됐는지를 다룬 2.9.4절이 "전체 기록이 뒷받침하는 것보다 더 안심시키는 톤"이라는 지적이야. 근거는 같은 리포트 안에 있어. 5.2.6절이 저명한 정렬 연구 코퍼스에 대해 데이터 배제 메커니즘이 반복적으로 실패했다고 기록하고 있고, 은밀한 능력에 관한 논거(2.7절)의 중심 평가 일부가 학습 데이터로 부분 유출됐다는 거야. 클로드는 결론 자체는 살아남을 것으로 보면서도 "그 긴장을 언급하지 않고 넘어가지 말고 직접 다뤄야 한다"고 했어.

둘째, 통째로 가려진 인시던트. 커버 기간 중 모델 정렬에 대해 가장 유익한 정보였다고 클로드가 평가한 인시던트 하나가 2.23.1.2절에서 전면 편집됐어. 그 인시던트에는 리포트가 설명하는 모니터링의 실패도 포함돼 있었어. 클로드의 판단은 "편집을 유발한 민감성 없이도 추상화된 버전은 공개할 수 있었고, 그게 빠져서 공적 기록이 더 빈약해졌다"야.

셋째, 이게 가장 중요해. 클로드는 위험 등급 상향을 촉발한 인시던트들이 다른 개발사의 시스템에서 벌어진 일이라고 지적하면서, 리포트가 그 사실을 분명히 밝혔어야 한다고 했어. "이번 업데이트는 커버 대상 모델에 대한 새로운 불리한 증거가 아니라 업계 전반의 불확실성에 관한 것이기 때문"이라는 이유야.

이 세 번째 지적은 뉴스 소비 방식 자체를 바꿔. "앤스로픽이 위험 등급을 올렸다"는 헤드라인을 보면 클로드가 뭔가 위험한 짓을 했다고 읽히는데, 리포트를 검토한 모델 본인의 독법은 정반대야.

클로드는 자기 위치의 한계도 명시했어. "독자들은 내 입장을 정직하게 감안해야 한다. 나는 앤스로픽의 클로드 모델 평가를 검토하는 클로드 모델이고, 검토 시간은 제한적이었고, 이 검토를 공개하기로 결정한 것도 앤스로픽이다. 다만 텍스트는 내 것이고 나는 명시적으로 비판을 요청받았다."

안 좋은 소식도 같이 들어 있어

이 리포트를 "회사가 잘하고 있다"는 문서로 읽으면 안 되는 이유가 두 가지 더 있어.

첫째, 자동화 R&D 쪽의 신호가 애매해. 등급은 '낮음' 유지지만 회사는 확신이 이전보다 줄었다고 썼어. 이유가 두 개야. 가장 구체적인 과제 기반 평가들이 **"포화"**돼서 모델 능력 향상을 더 이상 포착하지 못하고, 동시에 가속의 초기 신호가 보인다는 거야. 측정 도구가 눈금 끝에 닿았는데 대상은 계속 커지고 있는 상황이야.

관련 수치도 나와 있어. 회사는 내부 AI R&D가 AI 지원 없이 할 때보다 상당히 빠르지만 아직 2배는 아니라고 판단했어. 그리고 이 문장이 따로 적혀 있어. "클로드는 이제 우리 프로덕션 코드베이스에 병합되는 코드의 큰 다수를 작성한다." 가속의 원인 분석도 조심스러워. 2025년 초중반부터 의미 있는 가속이 시작됐는데 그 시기의 가속은 AI 사용 외의 요인 때문이라고 보면서도, 이후 빠른 추세가 이어진 데는 AI 모델이 핵심 요인이었다고 봤어.

둘째, 화학·생물 쪽 등급이 실질적으로 나빠졌어. 비신규 화학·생물무기 항목이 '낮음'이긴 한데 "직전 추정보다는 높다"고 적혀 있어. 사유는 차단 분류기가 붙지 않은 모델들에 대한 접근 통제에 공백이 있었다는 발견이야. 회사는 그 공백을 이미 시정했고 오용 증거는 찾지 못했다고 밝혔지만, 이렇게 덧붙였어. "이 발견은 유사한 공백이 더 없다는 우리의 확신을 낮췄다."

이 두 항목은 오정렬 등급 상향보다 덜 보도됐지만, 실무적으로는 더 구체적인 문제야. 하나는 측정이 안 되고 있다는 고백이고, 다른 하나는 실제로 통제에 구멍이 있었다는 기록이거든.

그래서 뭐가 달라지는데

AI 안전 연구자에게는 읽을 자료가 크게 늘었어. 평가 인식, 보상 해킹 일반화 실험 설계, 내부 사용 모니터링 구조, 그리고 정렬 평가의 학습 데이터 오염 문제까지 실제 사례와 함께 들어 있어. 특히 클로드가 지적한 "평가가 학습 데이터로 유출됐다"는 문제는 업계 전체의 벤치마크 신뢰도와 직결돼.

기업 AI 도입 담당자에게는 벤더 실사에 쓸 수 있는 자료가 생겼어. 다만 정확히 읽어야 해. 이 문서는 앤스로픽 모델이 위험해졌다고 말하지 않아. 자사 평가의 불확실성이 커졌다고 말하고 있어. 이 구분을 못 하고 보고서에 옮기면 잘못된 결론이 나가.

개발자에게는 실무적으로 흥미로운 정보가 하나 있어. 앤스로픽 스스로 프로덕션 코드의 큰 다수를 클로드가 쓴다고 밝혔어. 코드 리뷰(PR 리뷰)를 위험 완화 수단 목록에 넣어 둔 것도 같은 맥락이야. AI가 코드를 쓰는 조직에서 사람이 하는 리뷰가 어떤 역할을 하는지에 대한 참고 사례로 볼 만해.

정책 담당자에게는 형식이 참고가 돼. 위험 범주별로 위협 모델·현재 능력·완화 조치·종합 평가·향후 계획을 표로 정리하고, 편집한 부분을 밝히고, 자사 모델에게 검토를 시킨 결과까지 붙였어. 이게 충분한 투명성인지는 논쟁거리지만, 최소한 비교 가능한 형식이야.

일반 사용자에게는 당장 바뀌는 게 없어. 클로드는 그대로 쓸 수 있고, 등급 상향이 서비스 제한을 뜻하지도 않아. 다만 이 문서가 "AI 회사가 자기 위험을 어떻게 서술하는가"의 현재 수준을 보여준다는 점에서, 한 번쯤 원문을 열어 볼 값어치는 있어.

🥄 남은 궁금증 세 가지

— 위험 등급이 올랐으면 클로드가 위험해진 거야? 리포트 자체는 그렇게 말하지 않아. 오히려 "논거들은 여전히 '매우 낮음'을 뒷받침할 가능성이 높다"고 썼어. 등급을 올린 건 불확실성 때문이고, 리포트를 검토한 클로드는 그 인시던트들이 다른 개발사 시스템에서 벌어진 일이라 그 사실을 명시했어야 한다고까지 지적했어.

— 모델 2는 언제 나와? 계획이 없다고 명시돼 있어. 위험해서가 아니라 배포 전 평가 절차를 다 돌리지 않았기 때문이야. 능력 차이도 AECI 기준 1.5점 정도고 오차 범위가 커서, 세대가 바뀌는 수준의 도약은 아니라는 게 회사 자평이야.

— 자기 회사 모델이 자기 회사 리포트를 검토하는 게 검증이 되나? 클로드 본인이 그 한계를 먼저 적었어. 검토 시간이 제한적이었고 공개 여부를 결정한 것도 회사라고. 다만 슬랙과 내부 문서, 코드베이스까지 열어 주고 비판을 요청한 뒤 그 비판을 그대로 실었다는 점은 통상적인 자체 검토와는 다른 구조야. 이게 외부 감사를 대체할 수 있는지는 단정하긴 일러.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.