사람이 승인 버튼을 누르는 게 안전장치가 아니었다는 데이터

8월 14일부터 클로드 코드의 새 세션은 오토 모드로 시작해. 프로·맥스·팀 요금제 이야기야. 이전까지는 클로드가 파일을 고치거나 명령어를 실행할 때마다 "이거 해도 돼?"라고 물었고, 사람이 엔터를 눌러야 다음으로 넘어갔어. 이제 그 과정이 기본적으로 사라져.

대신 들어간 게 분류기(classifier)야. 모든 도구 호출이 이 분류기를 거치고, 되돌릴 수 없거나(irreversible) 파괴적이거나(destructive) 사용자 환경 밖을 향하는(out-of-environment) 행동으로 판정되면 거기서 막혀. 막히면 클로드는 대개 더 안전한 대안을 찾고, 대안이 없으면 그때 사람에게 승인을 요청해.

이런 변경은 보통 "편의성을 위해 안전을 조금 양보했다"로 읽히기 쉬워. 그런데 앤스로픽이 내놓은 근거는 정확히 반대 방향이야. 유료 테스터 1,053명을 대상으로 한 통제 실험에서, 사람이 직접 검토했을 때 위험한 명령을 걸러낸 비율은 **13.6%**였어. 같은 조건에서 오토 모드는 **89%**를 걸렀고.

왜 사람이 그렇게 못 걸렀냐면, 사람이 승인 요청의 97%를 그냥 승인하고 있었기 때문이야. 거절률은 3%야. 이건 검토가 아니라 클릭이야. 반복되는 확인 창은 몇 번만 지나면 내용을 읽지 않게 되거든. 보안 업계에서 오래 알려진 현상이고, 이번 데이터는 그게 AI 코딩 도구에서도 똑같이 벌어지고 있었다는 걸 보여줘.

클로드 코드가 어떤 물건이고 지금 어디에 서 있냐면

클로드 코드는 앤스로픽이 만든 터미널 기반 코딩 에이전트야. 채팅창에서 코드를 복사해 붙여넣는 방식이 아니라, 프로젝트 디렉터리 안에서 직접 파일을 읽고 고치고 명령을 실행해. 이 "직접 실행"이 제품의 핵심이자 위험 지점이야. 잘 되면 사람이 할 일을 통째로 대신하고, 잘못되면 파일을 지우거나 잘못된 커밋을 밀어버릴 수 있어.

앤스로픽은 지금 두 개의 시계를 동시에 보고 있어. 하나는 제품 시계야. 코딩 에이전트 시장은 지난 1년 사이 경쟁이 급격히 심해졌고, 바로 같은 날인 8월 14일 스페이스X가 커서 인수를 600억 달러에 마무리했어. 모델을 직접 만드는 회사가 코딩 도구를 소유하는 구조가 하나 더 생긴 거야. 다른 하나는 자본 시계야. 앤스로픽은 10월 상장을 준비 중이고, 이 시점에 제품 지표를 끌어올릴 이유가 분명해.

적용 범위는 요금제별로 나뉘어. 프로·맥스·팀은 기본값이 오토 모드로 바뀌었고, 엔터프라이즈·클로드 API·AWS의 클로드 플랫폼·아마존 베드록·구글 클라우드 에이전트 플랫폼·마이크로소프트 파운드리에서는 당분간 옵트인이야. 즉 조직 정책과 감사 요건이 걸린 환경에서는 관리자가 켜야 켜져. 이 구분은 앤스로픽이 리스크를 어디에 두고 있는지 보여줘.

해제도 쉬워. CLI에서는 Shift+Tab, 데스크톱 앱에서는 모드 드롭다운으로 바꿀 수 있어. 조직 단위로는 관리형 설정의 defaultMode로 기본값을 지정하거나 disableAutoMode로 아예 막을 수 있고. 기본값을 바꾸되 선택권은 남겨둔 형태야.

숫자를 놓고 보면 판단 근거가 보여

앤스로픽이 공개한 데이터를 정리하면 이래.

항목 수치
통제 실험 참가자 유료 테스터 1,053명
위험 명령 차단률 — 오토 모드 89%
위험 명령 차단률 — 사람 검토 13.6%
승인 요청 대비 실제 승인 비율 97% (거절 3%)
실사용 분석 — 수동 승인 세션의 심각한 의도치 않은 피해 발생률 6.3%
실사용 분석 — 오토 모드 세션의 같은 지표 2.4% (2.6배 차이)
프롬프트 인젝션 시도 720회, 성공 0회
인젝션 테스트 대상 모델 클로드 페이블 5, 오퍼스 5, 소넷 5
수동 모드 자동 복귀 조건 연속 3회 차단 또는 세션당 누적 20회 차단
기본 적용 요금제 프로, 맥스, 팀
옵트인 유지 엔터프라이즈, API, AWS·베드록·구글 클라우드·MS 파운드리

가장 무게가 실린 건 실사용 분석 줄이야. 통제 실험은 인위적인 조건이라 반박 여지가 있지만, 실제 프로덕션 세션을 놓고 비교했더니 수동 승인 세션에서 심각한 수준의 의도치 않은 피해가 발생한 비율이 6.3%, 오토 모드 세션은 2.4%였어. 2.6배 차이야. 사람이 개입한 쪽에서 사고가 더 많이 났다는 뜻이야.

프롬프트 인젝션 결과도 중요해. 자율성을 높이면 가장 먼저 나오는 우려가 "악의적인 지시가 코드나 웹페이지에 숨어 있으면 어떡하냐"인데, 720회 공격 시도 중 성공한 게 없었다고 밝혔어. 클로드 페이블 5, 오퍼스 5, 소넷 5 세 모델 모두에서.

그리고 안전 밸브가 하나 더 있어. 분류기가 연속으로 3번, 또는 한 세션에서 누적 20번 행동을 막으면 자동으로 수동 모드로 돌아가. 이건 "지금 클로드가 계속 위험한 걸 하려고 한다"는 신호를 사람에게 넘기는 장치야. 자율성을 주되 이상 징후가 반복되면 통제권을 회수하는 구조지.

비용 이야기도 짚고 넘어갈 만해. 분류기가 도구 호출마다 토큰을 조금씩 더 써. 그런데 앤스로픽은 이 오버헤드에 대해 더 이상 과금하지 않는다고 밝혔어. 안전 장치 비용을 사용자에게 전가하지 않겠다는 건데, 채택률을 최대한 끌어올리려는 계산이기도 해.

마지막으로 앤스로픽 자신이 단 조건도 그대로 옮겨둘게. "이건 분류 시스템에 의존하기 때문에 위험을 제거하지는 않아요." 89%는 100%가 아니야. 나머지 11%가 어디에 있는지는 이 발표에 나와 있지 않아.

데이터를 읽을 때 한 가지 더 감안할 게 있어. 이 실험과 분석은 전부 앤스로픽이 직접 설계하고 수행했어. 제3자 검증 결과는 공개되지 않았고, "심각한 의도치 않은 피해"를 어떤 기준으로 분류했는지도 상세히 나와 있지 않아. 수치 자체를 의심할 근거는 없지만, 자사 제품의 기본값을 바꾸는 결정을 뒷받침하는 자료를 자사가 만들었다는 구조는 짚어둘 만해. 이런 종류의 주장은 시간이 지나면서 실제 사용자들의 사고 보고로 검증되는 게 보통이야.

이 변경으로 누가 뭘 챙기냐면

개인 개발자가 가장 직접적인 수혜자야. 긴 작업에서 승인 창이 사라지면 흐름이 끊기지 않아. 리팩터링이나 테스트 수정처럼 수십 번의 파일 편집이 이어지는 작업에서 이건 체감 차이가 커. 그리고 데이터가 맞다면 안전성도 함께 올라가는 셈이야.

앤스로픽이 챙기는 건 사용 시간이야. 승인 대기 없이 도는 에이전트는 더 많은 토큰을 쓰고, 더 긴 작업을 완주해. 그리고 완주율은 이 카테고리에서 제품 만족도와 직결돼. 상장을 앞둔 회사에게 이런 지표 개선은 그 자체로 값이 나가.

기업 IT 부서는 유예를 받았어. 엔터프라이즈와 클라우드 배포 채널에서는 옵트인이니까, 감사 로그와 승인 흐름이 규정에 묶여 있는 조직은 시간을 갖고 검토할 수 있어. 다만 개발자들이 개인 프로 계정으로 같은 도구를 쓰고 있다면 실효성은 별개 문제야.

경쟁 도구들은 대응을 강요받아. 같은 날 커서가 스페이스X 산하로 들어갔고, 그쪽은 자체 모델 보유로 원가를 무기로 삼을 가능성이 커. 앤스로픽은 가격 대신 자율성을 축으로 골랐어. 이 두 축 중 어느 쪽이 개발자에게 더 크게 먹히는지가 앞으로 몇 분기의 관전 포인트야.

보안 담당자는 새로운 질문을 받게 돼. "AI가 승인 없이 실행하는 걸 허용할 거냐"는 질문이 조직마다 올라올 텐데, 이번 데이터는 그 질문의 전제를 흔들어. 사람 승인이 실질적 통제가 아니었다는 게 숫자로 나왔으니까. 그렇다고 분류기를 무조건 믿을 수도 없고.

예전에도 비슷한 자동화 전환이 있었는데 결과는 갈렸어

사람의 확인 절차를 자동 판정으로 바꾸는 시도는 소프트웨어 역사에서 반복돼 왔어.

성공 사례의 원형은 스팸 필터야. 초기 이메일 클라이언트는 의심스러운 메일을 사용자에게 판단하게 했어. 그런데 사람들은 대부분 읽지 않고 넘겼고, 오히려 피싱에 더 많이 걸렸어. 자동 분류로 전환한 뒤 사고율이 크게 떨어졌지. 여기서 통한 논리가 이번 발표의 논리와 같아. 사람에게 판단을 맡긴다는 건 판단이 이뤄진다는 뜻이 아니라는 것.

두 번째 성공 사례는 브라우저의 인증서 경고야. 초창기엔 "이 사이트 인증서가 이상한데 계속할래?"라고 물었고 사용자 대부분은 계속을 눌렀어. 지금 브라우저는 아예 차단하고 우회 경로를 어렵게 만들어. 통제권을 사용자에게서 회수한 사례고, 결과적으로 웹 전체의 보안 수준이 올라갔어.

실패 사례도 있어. 자동 판정이 오탐(false positive)을 많이 내면 사용자는 그걸 끄는 법부터 배워. 안티바이러스 소프트웨어가 겪었던 문제야. 정상 파일을 자꾸 격리하니까 사람들이 예외 목록에 전부 등록해 버렸고, 결국 보호 기능이 무력화됐어. 이번 오토 모드에서 연속 3회·누적 20회 차단 시 수동 복귀 규칙이 들어간 게 이 문제를 의식한 설계로 보여. 다만 반대로, 차단이 잦은 사용자가 아예 오토 모드를 꺼버리는 경로도 여전히 열려 있어.

그리고 정반대 방향의 참고 사례가 하나 더 있어. 8월 12일 공개된 대만 정부 대상 공격이야. 오픈소스 AI 에이전트 8개가 나흘간 자율적으로 움직이면서 정부 계정 85개를 뚫었어. 자율 에이전트의 능력을 공격자 쪽에서 증명한 사건이고, 방어 쪽에서 같은 능력을 쓰지 않으면 속도에서 밀린다는 논거로도 읽혀. 자율성 자체는 중립이야. 문제는 누가 어떤 목적으로 쓰느냐지.

경쟁자들은 어떻게 받아칠까

커서는 원가로 답할 가능성이 커. 스페이스X 산하로 들어가면서 자체 모델과 GPU를 확보했고, 같은 성능을 더 싸게 서빙할 수 있는 구조를 갖췄어. 자율성 기능은 따라 만들 수 있지만 원가 구조는 따라 만들기 어려워.

오픈AI는 속도로 붙었어. 8월 13일 세레브라스와 함께 공개한 GPT-5.6 솔 울트라패스트 모드는 초당 750토큰으로 표준 대비 최대 14배야. 에이전트가 승인 없이 도는 상황에서는 응답 속도가 곧 작업 완료 시간이니까, 이건 같은 문제에 대한 다른 답이야.

깃허브 코파일럿은 조직 통제를 무기로 삼을 거야. 기업 환경에서는 "무엇을 못 하게 할 수 있느냐"가 "무엇을 할 수 있느냐"만큼 중요해. 관리자 정책과 감사 로그가 촘촘한 쪽이 조달 심사에서 유리하고, 이건 마이크로소프트가 오래 잘해 온 영역이야.

구글은 제미나이 3.5 플래시로 에이전트 작업을 겨냥하고 있고, 클라우드 계약과 묶어서 접근해. 다만 코딩 에이전트 카테고리에서의 존재감은 아직 앞의 셋만큼 크지 않아.

오픈소스 에이전트 진영은 다른 방향이야. 안전장치 없이 완전한 자율을 원하는 사용자층이 이쪽으로 가는데, 대만 사건이 보여준 것처럼 그 자유는 양날의 검이야. 기업 환경에서는 채택이 어렵고, 개인 실험 영역에 머무를 가능성이 커.

그래서 뭐가 달라지는데

클로드 코드를 쓰는 개발자라면 다음 세션부터 승인 창이 안 뜰 거야. 익숙하지 않다면 Shift+Tab으로 언제든 되돌릴 수 있어. 그리고 중요한 저장소에서는 처음 몇 세션 동안 변경 사항을 커밋 전에 한 번씩 훑어보는 습관을 유지하는 게 좋아. 89%는 높은 숫자지만 100%는 아니니까.

팀 리더라면 확인할 게 두 가지야. 팀원들이 어떤 요금제로 쓰고 있는지, 그리고 CI에서 실제로 실행되는 명령에 대한 로깅이 되고 있는지. 자율 실행이 늘어나면 사후 추적의 중요성이 커져. 사전 승인이 사라진 자리를 사후 감사가 메워야 해.

보안·규정 담당자에게는 옵트인 채널이 유예 기간이야. 다만 실무자들이 개인 계정으로 같은 도구를 쓰는 경로를 함께 점검하지 않으면 정책이 형식으로만 남아. 관리형 설정의 defaultMode와 disableAutoMode가 조직 차원에서 쓸 수 있는 실질적 도구야.

AI 제품을 만드는 사람에게 이번 발표의 진짜 시사점은 승인 UX의 재검토야. "사용자에게 물어본다"가 안전장치로 기능하지 않는다는 데이터가 나왔어. 97% 승인률이라는 숫자는 클로드 코드만의 현상이 아닐 가능성이 높아. 네 제품의 확인 창도 똑같이 무의미하게 클릭되고 있을 수 있어.

AI를 처음 도입하는 조직이라면 이번 변경이 참고 사례가 돼. 자율성을 켜고 끄는 스위치를 사용자 개인에게 둘지, 조직 관리자에게 둘지, 아니면 요금제별로 다르게 둘지가 실제 정책 설계의 쟁점이야. 앤스로픽은 세 번째를 골랐고, 리스크가 큰 채널일수록 관리자 권한 쪽으로 무게를 뒀어.

업계 전체로 보면 이번 결정은 에이전트 제품의 기본 설계가 옮겨가는 신호야. 지난 2년의 기본값은 "AI는 제안하고 사람이 결정한다"였어. 이제 프론티어 랩 중 한 곳이 "AI가 실행하고 사람은 예외만 본다"로 기본값을 옮겼어. 그리고 기본값은 아주 강력한 힘이야.

🥄 남은 궁금증 세 가지

— 그럼 클로드가 내 파일을 지울 수도 있어? 분류기가 되돌릴 수 없거나 파괴적인 행동을 차단하도록 설계돼 있어서 그런 종류의 명령은 대부분 실행 전에 막혀. 다만 차단률이 89%지 100%가 아니야. 앤스로픽 자신도 "위험을 제거하지는 않는다"고 명시했어. 버전 관리가 되는 저장소에서 쓰는 게 가장 현실적인 안전장치야.

— 이거 그냥 편하려고 만든 거 아니야? 편의성이 동기의 일부인 건 맞아. 다만 공개된 실사용 데이터에서 수동 승인 세션 쪽 사고율이 2.6배 높았다는 건 편의성만으로 설명되지 않아. 승인 절차가 실제로는 안전에 기여하지 않고 있었다는 쪽에 무게가 실려. 물론 이 데이터는 앤스로픽 자체 분석이라는 점은 감안해야 해.

— 회사에서 쓰는데 괜찮을까? 엔터프라이즈와 클라우드 채널에서는 여전히 옵트인이라 관리자가 켜야 켜져. 개인 프로·맥스 계정으로 회사 코드를 다루고 있다면 그건 오토 모드 이전부터 있던 별개의 문제고, 이번 변경으로 더 분명해진 것뿐이야. 조직 정책부터 확인하는 게 순서야.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.