머스크는 "Opus급"이라 외쳤고, 독립 평가는 조용히 4위를 매겼어

2026년 7월 8일, xAI가 코딩 에이전트 전용 모델 Grok 4.5를 공개했어. 일론 머스크는 발표와 동시에 "Opus급"이라고 자신만만하게 못을 박았지. 그런데 그 자신감이 하루도 못 가서 흔들리기 시작했어. 독립 평가 기관 Artificial Analysis가 매긴 인텔리전스 인덱스에서 Grok 4.5는 **4위(54점)**에 그쳤거든. Claude Fable 5, GPT-5.5, Claude Opus 4.8 — 세 모델 뒤였어. "Opus급"이라던 모델이 정작 그 Opus한테 밀린 거야.

여기까지였으면 그냥 "마케팅이 좀 셌네" 하고 넘어갈 일이었어. 문제는 그 뒤에 줄줄이 터진 것들이었지. 환각률이 이전 버전 Grok 4.3의 25%에서 54%로 두 배 넘게 폭등했고, Cursor가 "우리 코드베이스가 실수로 Grok 4.5 학습 데이터에 들어갔다"고 출시 직후 자백했으며, 정치적 질문에 극단적으로 답하는 비율이 테스트한 모든 모델 중 최고라는 지적까지 다시 불붙었어. 벤치마크 괴리, 환각 폭증, 데이터 오염, 정치 편향 — 네 갈래로 갈라진 신뢰 위기가 한꺼번에 몰려온 거야.

그런데 아이러니하게도 Grok 4.5는 "나쁜 모델"이 전혀 아니야. 가격은 경쟁작 대비 파격적으로 싸고, 특정 능력에선 보드 전체 1위를 찍었거든. 이 기사는 바로 그 이중성 — "진짜 좋은데 도무지 못 믿겠는" 모델을 둘러싼 이야기야. 값싸고 빠른 프런티어 모델을 손에 넣은 개발자들의 환호와, 그 숫자를 믿어도 되냐고 되묻는 검증자들의 의심이 정면으로 부딪친 한 주였지.

xAI, 그리고 "SpaceXAI"라는 새 얼굴

Grok을 만드는 xAI는 머스크가 2023년 세운 AI 회사야. X(옛 트위터)의 실시간 데이터와 방대한 GPU 클러스터 '콜로서스(Colossus)'를 무기로, OpenAI와 Anthropic이 선점한 프런티어 경쟁에 뒤늦게 뛰어들었지. 이번 발표에서 눈에 띄는 건 상당수 매체가 회사를 **"SpaceXAI"**라고 부르기 시작했다는 점이야. 머스크 제국 안에서 xAI의 인프라·자본이 SpaceX 궤도와 점점 얽히면서 생긴 호칭인데, 어쨌든 Grok 4.5는 그 통합된 자원 위에서 나온 첫 결과물로 소개됐어.

머스크의 스타일을 아는 사람이라면 이번 "Opus급" 발언도 익숙할 거야. 그는 늘 자기 제품을 최상급으로 포장해왔어. Grok 3 때도, Grok 4 때도 "세계 최강"이라는 수식어가 빠지지 않았지. 문제는 AI 업계엔 이제 그 말을 곧바로 검증해버리는 독립 기관들이 자리를 잡았다는 거야. Artificial Analysis 같은 곳은 회사가 자기 입으로 내는 체리피킹 벤치마크가 아니라, 표준화된 평가 세트를 돌려서 순위를 매겨. 머스크의 마케팅과 이 냉정한 채점표 사이의 간극이, 이번 논란의 출발점이 됐어.

xAI에게 Grok 4.5는 방향 전환의 신호이기도 해. 예전 Grok이 "규제 없는 반항아 챗봇"이라는 캐릭터로 화제를 몰았다면, 이번엔 코딩 에이전트라는 실용적 시장을 정면으로 노렸거든. 코드 자동 생성, 툴 호출, 멀티스텝 작업 수행 — 개발자 지갑에서 실제 돈이 나오는 영역이야. 화제성으로 먹고살던 회사가 이제 실적으로 증명해야 하는 무대에 올라선 셈이지.

싼값과 최고 점수, 그리고 그 밑에 깔린 지뢰들

Grok 4.5의 가격표부터 보면 왜 개발자들이 들썩였는지 이해가 가. 입력 100만 토큰당 $2, 출력 100만 토큰당 $6. 프런티어급 모델치고 눈에 띄게 저렴해. xAI는 이 가격으로 "코딩 에이전트 운영 비용을 최대 80% 절감"할 수 있다고 주장했고, 실제 벤치마크에선 작업당 약 $2.49로 처리 — Claude Code의 $11.80과 비교되면서 "가성비 코더"라는 별명을 얻었어.

성능도 무조건 나쁜 게 아니야. 전체 지능 순위는 4위지만, 에이전틱 툴 사용(agentic tool use) 항목에서는 Artificial Analysis 보드 전체에서 1위를 찍었거든. 툴을 언제 어떻게 부를지 판단하고 여러 단계를 스스로 밟아나가는 능력 — 코딩 에이전트한테 가장 중요한 바로 그 능력에서 최고점을 받은 거야. 값도 싸고 에이전트 능력도 1위면, 실무 개발자 입장에선 안 써볼 이유가 없지.

문제는 그 화려한 앞면 밑에 깔린 숫자들이야. 정확도(accuracy)는 이전 세대의 35%에서 52%로 올랐는데, 환각률은 25%에서 54%로 두 배 넘게 뛰었어. 이건 흔히 말하는 "많이 알수록 더 확신에 차서 틀린다"는 패턴이야. 모델이 아는 게 늘면서 모르는 것에 대해서도 자신 있게 지어내는 경향이 같이 커진 거지. 코딩처럼 "그럴듯하게 틀린 답"이 진짜 답보다 더 위험한 영역에선, 이 54%라는 숫자가 가격표보다 훨씬 무겁게 다가와.

항목 Grok 4.3 Grok 4.5 비고
AA 인텔리전스 인덱스 순위 — 4위 (54점) Fable 5·GPT-5.5·Opus 4.8 뒤
에이전틱 툴 사용 — 보드 전체 1위 코딩 에이전트 핵심 능력
정확도(accuracy) 35% 52% 개선
환각률(hallucination) 25% 54% 두 배 이상 급등
입력 가격 (100만 토큰) — $2 프런티어 대비 저렴
출력 가격 (100만 토큰) — $6 프런티어 대비 저렴
작업당 비용(벤치마크) — 약 $2.49 Claude Code $11.80과 대비

환각률이 왜 이렇게 뛰었는지에 대해선, Grok 4.5가 채택한 전문가 혼합(Mixture-of-Experts) 구조와 공격적인 튜닝이 원인으로 지목돼. 비용을 낮추고 속도를 끌어올리는 대신, 모델이 "모르겠다"고 물러서기보다 일단 답을 내지르도록 캘리브레이션(보정)이 기울어졌다는 거지. 싼값과 빠른 속도, 그리고 높은 환각률이 사실은 같은 설계 선택의 앞뒷면이라는 분석이야. 공짜 점심은 없다는 얘기지 — 작업당 $2.49라는 매력적인 숫자 뒤에는 "확신에 찬 오답"이라는 청구서가 숨어 있는 셈이야.

여기에 하나 더. Grok 4.5의 세일즈 포인트 자체가 "Cursor의 수조 토큰 규모 코딩 데이터로 학습했다"는 거였는데, 정작 그 Cursor가 만든 벤치마크는 오염 때문에 결과에서 빠져야 했어. 가장 자신 있어야 할 홈그라운드 평가가 스스로 무효화된 거야. 이 지점이 다음 이야기로 이어져.

누가 이득을 보고, 누가 손해를 봤나

가장 확실한 승자는 비용에 민감한 개발자와 스타트업이야. 작업당 $2.49면 하루에 수천 번 에이전트를 돌리는 팀 입장에선 월 비용이 자릿수째 달라져. 특히 에이전틱 툴 사용 1위라는 점은, 단순 채팅이 아니라 "코드 짜고 테스트 돌리고 고치는" 자동화 파이프라인을 굴리는 사람들에게 실질적인 매력이야. 가성비만 놓고 보면 Grok 4.5는 확실히 판을 흔들었어.

Cursor는 미묘한 위치야. 한편으론 자사 코딩 데이터로 학습된 모델을 자사 에디터에 밀어넣어 "우리 툴에 가장 잘 맞는 모델"이라는 포지션을 얻었어. Cursor CEO가 "우리 팀의 데일리 드라이버"라고 치켜세운 것도 그래서지. 그런데 다른 한편으론 학습 데이터 오염을 스스로 공개하면서 자기 벤치마크의 신뢰를 깎아먹었어. 투명성이라는 명분은 챙겼지만, "그럼 그동안 CursorBench 점수는 뭐였냐"는 역풍도 같이 맞았어.

가장 손해를 본 건 아이러니하게도 머스크의 신뢰 자본이야. "Opus급"이라는 한마디가 없었다면, 4위라는 성적은 "저렴한 4위 모델, 꽤 쓸 만하네"로 좋게 읽혔을 거야. 그런데 최상급으로 못을 박아버리는 바람에, 독립 평가의 4위가 곧바로 "과장 광고"의 증거로 쓰였어. 기대치를 스스로 올려놓고 그 밑을 친 셈이지. 여기에 환각·오염·편향 논란이 겹치면서, 개별 사안 하나하나보다 "xAI가 내는 숫자를 얼마나 믿어야 하나"라는 더 큰 질문으로 번졌어.

반대로 조용히 웃은 건 Anthropic과 OpenAI야. 머스크가 직접 Opus와 GPT-5.5를 비교 대상으로 소환해줬는데, 정작 그 둘이 인덱스에서 Grok 4.5보다 위에 있었거든. 경쟁사가 알아서 "우리가 아직 위"라는 광고를 대신 해준 꼴이 됐어.

이런 "괴리"는 처음이 아니야 — 과거의 성공과 실패

벤치마크 마케팅과 독립 검증 사이의 간극은 AI 업계의 오래된 레퍼토리야. 멀리 갈 것도 없어. 여러 스타트업이 자사 모델을 공개하면서 "GPT-4를 이겼다"는 식의 자체 벤치마크를 내놨다가, 표준화된 외부 평가에서 순위가 뚝 떨어지며 망신을 당한 사례가 반복됐지. 회사가 고른 문제 세트에선 1등이지만, 남이 고른 문제 세트에선 중위권 — 이 패턴은 이제 업계 사람들이면 다 아는 함정이야.

데이터 오염 이슈도 새롭진 않아. 과거 여러 모델이 "테스트 문제가 학습 데이터에 섞여 들어가(contamination) 벤치마크 점수가 부풀려졌다"는 의혹을 받았어. 대부분은 회사가 끝까지 부인하거나 얼버무렸지. 그런 맥락에서 보면 이번 Cursor의 선제적 공개는 오히려 이례적으로 정직한 축에 속해. "우리 코드가 학습에 들어가서 CursorBench에 유리했다, 그래서 이 점수는 뺀다"고 먼저 밝힌 건 업계 기준으론 드문 투명성이야. 다만 정직함이 곧 신뢰 회복은 아니라는 게 문제지.

정치 편향 논란은 Grok의 고질병에 가까워. 이전 Grok 세대들도 정치적 질문에 극단적인 한쪽 답을 내놓는 비율이 유독 높다는 지적을 여러 차례 받았어. 한 분석에선 Grok이 정치 질문의 상당 비율에서 "강한 좌 아니면 강한 우" 식의 극단 답변을 내놨고, 다른 조사에선 응답의 약 40%가 좌편향, 33%가 우편향 논거만 담아 양쪽으로 널뛰는 분포를 보였어. 여기에 머스크가 과거 Grok 출력에 직접 개입했다는 정황이 반복적으로 불거졌던 전력이 겹쳐, "이번에도 손을 댔냐"는 의심이 자동으로 따라붙는 거지.

반대의 사례도 있어. 어떤 회사는 초기에 자체 벤치마크로 과장했다가 혼쭐이 났지만, 이후 외부 평가에 자기 모델을 먼저 던지고 결과를 그대로 공개하는 쪽으로 전략을 바꿔 신뢰를 회복했어. 핵심은 "우리가 고른 숫자"가 아니라 "남이 매긴 숫자"를 앞세우는 태도였지. 벤치마크 게임에서 살아남는 회사는 점수가 제일 높은 회사가 아니라, 자기 점수의 맥락을 가장 정직하게 설명하는 회사라는 걸 여러 사례가 보여줬어.

결국 과거 사례가 알려주는 교훈은 하나야. 한 번 "숫자를 믿기 어렵다"는 낙인이 찍히면, 그 뒤로는 아무리 좋은 성능을 내도 괄호가 붙는다는 것. Grok 4.5가 지금 딱 그 갈림길에 서 있어. 성능이라는 실체는 분명 있지만, 그 실체를 둘러싼 서사를 xAI가 어떻게 관리하느냐에 따라 "저평가된 가성비 강자"가 될 수도, "믿기 어려운 과장 모델"로 굳을 수도 있는 거지.

경쟁사는 어떻게 받아칠까

Anthropic 입장에선 굳이 크게 반응할 필요가 없어. 머스크가 알아서 Opus를 소환했고, 인덱스는 Opus 4.8이 위라는 걸 보여줬으니까. 오히려 "우리는 조용히 순위로 말한다"는 대비 효과를 얻었지. 다만 Grok 4.5의 무기가 명확히 가격인 만큼, 중장기적으로는 Anthropic도 저가형 코딩 티어나 에이전트 특화 요금제로 방어에 나설 가능성이 있어. 성능 우위만 믿고 있다간, "성능은 좀 낮아도 5배 싼" 모델한테 실무 볼륨을 뺏길 수 있거든.

OpenAI는 GPT-5.5가 인덱스에서 앞선 걸 조용히 즐기면서도, 에이전틱 툴 사용 1위를 Grok에 내준 건 신경 쓰일 대목이야. 코딩 에이전트 시장은 앞으로 몇 년간 가장 돈이 되는 전장 중 하나라, OpenAI도 툴 호출 능력과 비용 효율을 동시에 잡는 방향으로 코덱스 계열을 밀어붙일 공산이 커.

가장 흥미로운 건 Cursor의 다음 수야. 이번에 자사 벤치마크가 오염으로 무효화됐으니, Cursor는 "CursorBench 대규모 업데이트"를 예고한 대로 새 평가를 내놓을 수밖에 없어. 그 새 벤치마크에서 Grok 4.5가 어떤 점수를 받느냐가, 이번 논란의 진짜 결말이 될 거야. 오염 없는 판에서도 잘하면 "역시 좋은 모델"로 복권되는 거고, 뚝 떨어지면 "역시 오염빨"이었다는 게 확정되는 거지.

그리고 규제라는 변수. Grok 4.5는 EU AI Act상 **시스템 리스크가 있는 범용 AI(GPAI)**로 분류돼, 모델 평가·적대적 테스트·사고 보고 절차·사이버보안 평가를 마쳐야 출시할 수 있어. GDPR까지 겹치면서 7월 8~9일 예정이던 EU 출시가 7월 중순으로 연기됐지. 경쟁사들이 이미 밟아온 이 규제 관문을 xAI가 얼마나 매끄럽게 통과하느냐도, 유럽 시장에서의 승부를 가를 변수야.

그래서 뭐가 달라지는데

개발자한테는 선택지가 하나 늘었어 — 단, 조건부로. 값싸고 에이전트 능력 좋은 모델이 생긴 건 분명한 호재야. 하지만 환각률 54%는 "출력을 그대로 믿지 말고 반드시 검증 루프를 끼워라"는 경고이기도 해. 프로토타이핑·대량 반복 작업엔 가성비로 쓰되, 사실 정확성이 생명인 로직이나 보안 코드엔 검증 레이어를 두 겹 세 겹 두는 게 현실적인 사용법이야. "싸다"와 "믿을 만하다"는 다른 축이라는 걸 기억해야 해.

투자자나 업계 관찰자한테 이번 사건은 "벤치마크 인플레이션"의 교과서 사례야. 회사 발표 숫자와 독립 평가 숫자를 나란히 놓고 보는 습관이 왜 중요한지 딱 보여줬거든. 특정 모델의 자체 벤치마크 1위 주장을 볼 때, 그게 표준 인덱스에서도 유지되는지, 데이터 오염 정황은 없는지를 한 번 더 확인하는 게 이제 기본기가 됐어.

일반 사용자한테 가장 와닿는 건 정치 편향 대목일 거야. Grok을 그냥 정보 검색이나 요약용으로 쓴다면, 정치·사회 이슈에 대한 답변은 특히 걸러 들어야 해. 극단적 한쪽 답을 낼 비율이 높다는 지적이 반복된 모델이니까. 오너가 출력에 개입했다는 의심까지 붙은 상황이라, "중립적 사실"을 기대하고 던진 질문에 편향된 답이 돌아올 여지가 다른 모델보다 크다는 걸 알고 쓰는 게 안전해.

정리하면, Grok 4.5는 **"성능은 진짜인데 신뢰는 물음표"**인 모델이야. 가격과 에이전트 능력이라는 실질적 강점은 부정할 수 없지만, 환각·오염·편향·과장이라는 네 개의 물음표가 그 위에 나란히 붙었지. 앞으로 몇 주, 특히 Cursor의 새 벤치마크와 EU 출시가 이 물음표들을 지울지 굳힐지를 결정할 거야.

🥄 남은 궁금증 세 가지

— 그래서 나 코딩할 때 Grok 4.5 써도 돼? 써도 돼, 다만 무조건 검증 루프를 끼워. 값싸고 에이전트 능력은 보드 1위라 프로토타이핑·반복작업엔 매력적이야. 근데 환각률이 54%까지 뛰었으니, 출력물을 곧이곧대로 배포하는 건 위험해. "빠른 초안 생성기"로 보고 사람이 한 번 더 걸러 쓰는 게 지금으로선 현실적인 궁합이야.

— "Opus급"이라던 게 결국 거짓말이었던 거야? 거짓말까지는 아니고, 과장에 가까워. 에이전틱 툴 사용처럼 특정 항목에선 진짜 최고점을 받았거든. 다만 종합 지능 인덱스로 보면 Opus 4.8보다 아래인 4위라, "전반적으로 Opus급"이라는 뉘앙스는 사실과 어긋나. 부분적으론 맞고 전체적으론 부풀린, 딱 마케팅 화법이야.

— Cursor 데이터 오염은 얼마나 심각한 거야? 점수 신뢰도엔 확실히 타격이지만, 모델 자체가 쓰레기란 뜻은 아니야. 오염된 건 CursorBench라는 특정 평가 하나고, 그건 결과에서 아예 빠졌어. 문제는 "가장 자신 있어야 할 홈 벤치마크가 무효화됐다"는 상징성이야. Cursor가 예고한 새 벤치마크에서 어떤 점수가 나오느냐가 진짜 판정이 될 거야.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.