0.7초, 전화기 너머의 어색한 침묵이 사라진 순간

콜센터에 전화를 걸어본 사람은 다 안다. 질문을 던지고 나서 상대편에서 아무 소리도 안 나는 그 1초 남짓한 구간이 얼마나 길게 느껴지는지. 사람이라면 그 구간에 "아—", "네, 그러니까" 같은 소리라도 낸다. 근데 AI 음성 에이전트는 대부분 그냥 조용하다. 생각하느라 조용한 거다. 사용자는 그 침묵을 "얘가 내 말을 못 알아들었나"로 읽고, 다시 말을 얹는다. 그러면 모델은 말이 끊겼다고 판단해서 처음부터 다시 계산한다. 통화가 망가지는 건 딱 이 지점에서다.

2026년 7월 29일, xAI가 그 침묵을 절반 이하로 줄였다고 발표했다. 새 음성 모델 'Grok Voice Think Fast 2.0'의 첫 오디오 출력까지 걸리는 시간, 그러니까 time to first audio가 이전 버전의 1.25초에서 0.70초로 떨어졌다는 거야. 숫자만 보면 0.55초 줄어든 것뿐인데, 대화라는 게 그렇게 선형적이지 않아. 사람 대화의 자연스러운 턴 간격은 대략 200밀리초 언저리고, 1초를 넘어가면 상대가 "이상하다"고 느끼기 시작한다. 1.25초는 그 임계선 바깥이었고, 0.70초는 안쪽이야. 임계선을 넘느냐 마느냐의 문제라서, 체감은 44% 개선이 아니라 훨씬 크게 온다.

같은 날 벤치마크 기관 Artificial Analysis도 채점표를 올렸다. Speech to Speech Index에서 82.9%. 전작 Think Fast 1.0의 75.7%에서 7.2%포인트가 뛰었고, OpenAI의 GPT-Realtime-2.1 High(79.1%)와 구글 제미나이 3.1 플래시(69.5%)를 다 앞질렀어. 에이전트 성능을 재는 τ-Voice 부문에서는 56.5%로 아예 전체 1위를 찍었다. 그런데 종합 1위는 아니었어. 며칠 전 알리바바가 올려둔 Qwen Audio 3.0 Realtime Plus가 84.1%로 앉아 있었거든. 그록은 2위로 데뷔했다. 이게 이 기사에서 제일 재미있는 부분이야.

그래서 이 글에서 풀어볼 질문은 이거다. 0.7초라는 숫자가 왜 44%가 아니라 그 이상의 의미인지, "말하면서 생각한다"는 구조가 실제로 뭘 바꾸는지, 벤치마크 2위가 실전에서는 1위일 수도 있다는 게 무슨 뜻인지, 가격을 60% 올려놓고도 xAI가 자신 있어 하는 이유가 뭔지, 그리고 분당 0.08달러라는 숫자가 콜센터 손익계산서에서 어떤 줄을 지워버리는지. 마지막으로 이걸 OpenAI와 구글과 알리바바와 일레븐랩스가 그냥 두고 볼 리 없으니, 반격이 어디서 올지까지.

이 링 위에 서 있는 선수들

먼저 xAI. 정확히는 이제 xAI라고만 부르기가 애매해졌어. 2026년 2월 3일 CNBC 보도 기준으로 스페이스X가 xAI를 전량 주식 교환 방식으로 합병했고, 합병 법인 가치는 1조 2,500억 달러로 매겨졌다. 스페이스X 1조 달러, xAI 2,500억 달러 평가였어. 그 결과 그록도, X 플랫폼도 스페이스X 지붕 아래로 들어갔고, 6월에는 나스닥 상장까지 했다. 그래서 요즘 x.ai 공식 페이지나 Artificial Analysis 리더보드에는 제공자 이름이 'SpaceXAI'로 찍히기도 해. 이 기사에서는 편의상 xAI로 쓰겠지만, 이 회사가 이제 상장사의 한 사업부라는 사실은 기억해둘 만해. 분기 실적 발표에서 API 매출을 설명해야 하는 회사가 됐다는 뜻이거든.

두 번째 선수는 Artificial Analysis다. 모델 벤치마크를 독립적으로 돌려서 리더보드를 공개하는 곳인데, 요즘 AI 업계에서는 사실상 채점 기관 역할을 한다. 얘네가 2026년에 새로 만든 게 Speech to Speech Index야. 텍스트 모델처럼 음성-음성 모델도 한 줄로 비교할 수 있는 종합 지표가 필요하다는 문제의식에서 나왔고, 세 가지 벤치마크를 각각 3분의 1씩 균등 가중해서 합산한다. Big Bench Audio(음성 추론, 1,000문항), Full Duplex Bench(대화 역학 — 끼어들기·맞장구·턴 넘기기), 그리고 τ-Voice(에이전트 성능). 세 개 다 점수가 있어야 지수에 들어간다.

τ-Voice는 좀 더 설명이 필요해. 이건 Soham Ray, Keshav Dhandhania, Victor Barres, Karthik Narasimhan이 2026년에 arXiv에 올린 벤치마크(arXiv:2603.13686)로, 원래 텍스트 에이전트용이던 τ²-bench를 음성으로 확장한 거야. 항공사 50개, 리테일 114개, 텔레콤 114개 시나리오에서 모델이 실제 고객 문제를 끝까지 해결했는지를 pass@1로 잰다. 재미있는 건 시뮬레이션 고객 쪽이야. LLM이 고객 의사결정을 하고, 거기에 다양한 억양과 배경 소음, 그리고 실제 네트워크 조건을 본뜬 패킷 손실까지 얹은 오디오를 붙인다. 게다가 풀 듀플렉스라서 고객이 말하는 도중에 끼어들거나, 기다리거나, 양보할 수 있어. 실전 콜센터 통화에 꽤 가깝게 만들어놓은 거지. Artificial Analysis는 이 세 축 중에서 에이전트 성능이 "압도적인 차이로 가장 어려운 축"이라고 못 박아뒀다.

세 번째는 경쟁 진영이다. OpenAI의 GPT-Realtime 계열이 이 시장의 기본값 역할을 해왔고, 2.1 High가 지수 79.1%로 자리를 잡고 있다. 구글은 제미나이 3.1 플래시 라이브 프리뷰로 69.5%인데, 대신 제미나이 라이브를 소비자 제품에 통째로 얹는 유통 전략을 쓴다. 알리바바는 7월에 Qwen Audio 3.0 Realtime을 Plus/Flash 두 종으로 내면서 지수 84.1%로 1위를 가져갔고, Big Bench Audio 99.2%, Full Duplex Bench 98.4%, τ-Voice 54.6%로 세 축 전부에서 리드했다. 그리고 전사(transcription) 쪽에는 Deepgram(Nova-3)과 ElevenLabs(Scribe v2)가 있다. xAI가 이번 발표에서 굳이 이 둘을 비교 대상으로 콕 집은 건, 음성 에이전트를 만들려는 개발자들이 지금까지 "STT는 딥그램, 두뇌는 LLM, TTS는 일레븐랩스" 식으로 파이프라인을 조립해왔기 때문이야. 그 조립 관행을 통째로 대체하겠다는 선전포고인 셈이지.

실제로 뭘 내놨나 — "말하면서 생각한다"의 정체

핵심은 이름에 있어. Think Fast. 발표문 기준으로 이 모델의 구조적 특징은 추론과 발화를 순차가 아니라 병렬로 돌린다는 거야. 기존 음성 에이전트의 파이프라인은 대체로 이렇게 생겼다. 사용자 발화 끝 감지 → 전사 → LLM 추론 → 응답 텍스트 생성 → TTS → 오디오 송출. 이 사슬이 전부 직렬이라 각 단계의 지연이 그대로 더해진다. 추론을 깊게 시키면 정확해지지만 느려지고, 얕게 시키면 빨라지지만 틀린다. 지금까지 음성 에이전트 개발이 괴로웠던 이유가 딱 이 트레이드오프였어. Artificial Analysis 리더보드가 그걸 그대로 보여준다. 종합 1위 Qwen Audio 3.0 Realtime Plus의 평균 TTFA는 4.02초다. 점수는 제일 높은데, 4초를 기다려야 첫 소리가 나온다. 실시간 통화용으로는 못 쓴다는 뜻이야.

Think Fast 2.0이 주장하는 건 그 트레이드오프를 옆으로 비껴갔다는 거다. 말을 시작하면서 동시에 생각을 이어가고, 도구 호출도 응답 문장이 끝나기 전에 발사한다. 발표 내용을 요약한 여러 보도에 따르면 "에이전트가 첫 문장을 마치기 전에 도구 호출이 이미 실행되는" 수준이라고 해. 콜센터로 치면, 상담원이 "네, 확인해드릴게요"라고 말하는 그 1.5초 동안 이미 조회 쿼리가 백엔드에 날아가 있는 거지. 사람 상담원이 원래 그렇게 일한다. 그동안의 AI 에이전트는 말을 다 끝내고 나서야 조회를 시작했고, 그래서 "확인해드릴게요" 다음에 또 침묵이 왔던 거야.

두 번째 축은 효율이다. 추론 토큰 사용량 중앙값이 전작 대비 0.4배로 떨어졌다. 약 60% 감소. 이건 단순한 원가 절감 얘기가 아니야. 음성 대화에서 추론 토큰은 곧 시간이다. 토큰을 덜 쓰면서 점수가 오르려면 강화학습으로 대화 전략 자체를 다듬어야 하는데, 발표 요약에 따르면 이 모델은 짧은 답변과 한 번에 한 이슈 처리를 선호하도록 튜닝됐다고 한다. 사실 이건 콜센터 상담 품질 교육에서 사람에게 가르치는 것과 똑같아. 한 번에 여러 개 설명하면 고객이 못 따라오니까 하나씩 끊어서 확인받으라는 것. 모델을 "더 똑똑하게" 만든 게 아니라 "덜 수다스럽게" 만든 쪽에 가깝다.

세 번째는 듣기다. xAI는 24개 언어의 짧은 발화 수천 건을 대상으로 전사 정확도를 측정했을 때 Deepgram Nova-3와 ElevenLabs Scribe v2 대비 1.5~2.0배, 전작 대비 1.4배 개선됐다고 밝혔다. 배경 소음이 심한 조건에서는 그 격차가 약 10배까지 벌어진다는 주장도 함께 나왔어. 다만 이 수치는 xAI가 자체 평가 세트로 측정한 값이고, 독립 검증은 아직 공개되지 않았다는 점은 짚어둬야 해. 참고로 Deepgram은 Nova-3 공식 발표에서 실시간 스트리밍 중앙값 WER 6.84%를 내세웠고, ElevenLabs는 Scribe v2 Realtime이 30개 언어 기준 93.5% 정확도에 150밀리초 이하 지연이라고 밝힌 바 있다. 비교 기준이 서로 다르니 "1.5~2배"라는 숫자는 xAI가 정의한 조건 안에서의 값으로 읽는 게 맞아.

항목 내용 확인 근거
발표일 2026년 7월 29일 xAI 공식 뉴스, Artificial Analysis 동시 게시
첫 오디오까지 지연 1.25초 → 0.70초 Artificial Analysis TTFA 측정
음성-음성 종합 지수 82.9% (전작 75.7%) Artificial Analysis Speech to Speech Index
지수 순위 전체 2위 (1위 Qwen Audio 3.0 Realtime Plus 84.1%) Artificial Analysis 리더보드
에이전트(τ-Voice) 점수 56.5% — 전체 1위 (전작 52.1%) Artificial Analysis, τ-Voice 벤치마크
경쟁 모델 비교 GPT-Realtime-2.1 High 79.1% / 제미나이 3.1 플래시 69.5% Artificial Analysis 리더보드
속도 특이점 지수 상위 5개 중 유일하게 TTFA 1초 미만 Artificial Analysis 공식 게시물
추론 토큰 중앙값 전작 대비 0.4배 (약 60% 감소) xAI 발표 요약
전사 정확도 24개 언어에서 Nova-3·Scribe v2 대비 1.5~2.0배 xAI 자체 평가 (독립 검증 미공개)
가격 분당 0.08달러 (시간당 4.80달러), 1.0은 분당 0.05달러 xAI 개발자 문서
별칭 전환 2026년 8월 5일 grok-voice-latest → 2.0 자동 전환 xAI 공지 (구버전은 수동 핀 필요)

표에서 제일 눈에 걸리는 줄은 가격이야. 분당 0.05달러에서 0.08달러. 60% 인상이다. 요즘 AI 모델 세대교체는 "성능은 올리고 가격은 내린다"가 관행처럼 굳어 있었는데, xAI는 반대로 갔어. 이건 자신감의 표현이거나, 아니면 실제로 병렬 추론 구조가 서빙 비용을 밀어올렸다는 뜻이거나 둘 중 하나야. 참고로 OpenAI GPT-Realtime-2.1은 토큰 과금이라 통화 성격에 따라 요금이 출렁이는데, 오디오 입력 100만 토큰당 32달러·출력 100만 토큰당 64달러 구조에서 실측 기반 추정치들은 대체로 분당 0.06~0.11달러 범위를 얘기한다. 그러니까 0.08달러는 폭리라기보다는 시장 중간값 근처에 자리를 잡은 가격이야. 다만 xAI 쪽은 서버사이드 도구를 쓰면 별도 과금이 붙는다는 점도 문서에 명시돼 있으니, 실사용 단가는 그것보다 위로 올라갈 수 있어.

그리고 8월 5일이라는 날짜. grok-voice-latest 별칭이 자동으로 2.0을 가리키게 바뀐다. 구버전을 계속 쓰려면 grok-voice-think-fast-1.0으로 명시적으로 핀을 박아야 해. 이건 개발자 입장에서는 은근히 큰 이벤트야. 별칭만 걸어두고 운영 중이던 서비스라면, 8월 5일 새벽에 모델이 바뀌고 지연 특성도 바뀌고 요금도 60% 오른다. 프롬프트 튜닝을 1.0에 맞춰놨다면 응답 스타일이 달라지는 것도 각오해야 하고. 오늘이 8월 3일이니까, 이 글을 읽는 개발자한테 남은 시간은 이틀이다.

누가 웃고 누가 우나

가장 확실하게 웃는 쪽은 음성 에이전트를 만드는 개발사들이다. 지금까지 이 바닥의 표준 아키텍처는 조각조각 붙이는 방식이었어. Deepgram이나 ElevenLabs로 듣고, GPT나 클로드로 생각하고, 다시 TTS로 말하고, 그 사이를 LiveKit 같은 실시간 인프라로 이어붙이는 식. 조각이 많으면 지연이 쌓이고, 각 조각의 실패 모드가 곱해진다. 네이티브 음성-음성 모델이 그 사슬을 하나로 줄여주면 엔지니어링 난이도가 확 내려간다. 특히 τ-Voice 56.5%라는 숫자는 "도구를 제대로 부르고 고객 문제를 끝까지 해결한다"는 축에서 1등이라는 뜻이라, 데모용이 아니라 실제 업무 자동화를 노리는 팀에게는 의미가 크다.

기업 콜센터 운영자한테는 계산기 두드릴 일이 생겼다. 미국 온쇼어 아웃소싱 콜센터의 완전부담 인건비는 2026년 기준 시간당 25~45달러 선으로 집계되고, 분당 과금 방식으로는 통화 시간 기준 0.50~1.75달러 수준이 일반적이다. 그록 음성 2.0은 시간당 4.80달러다. 순수 단가만 놓고 보면 온쇼어 상담원의 5분의 1에서 9분의 1, 분당 요금 기준으로는 6배에서 20배 이상 싸다. 물론 이건 사과와 오렌지를 비교하는 거야. 사람 상담원 요금에는 관리·품질보증·교육·상담 후 처리(after-call work)가 다 들어 있고, AI 쪽에는 도구 호출 과금, 오케스트레이션 인프라, 실패 시 사람에게 넘기는 에스컬레이션 비용, 그리고 규제 산업이면 감사 로그와 컴플라이언스 비용이 따로 붙는다. 그래도 자릿수가 다르다는 건 사실이고, 자릿수가 다르면 "일부 도입"이 아니라 "설계를 다시 한다"는 결론이 나온다.

반대로 손해 보는 쪽도 분명해. 첫째는 단품 STT/TTS 벤더다. xAI가 발표문에서 Deepgram Nova-3와 ElevenLabs Scribe v2를 비교 대상으로 지목한 건 우연이 아니야. 음성-음성 모델이 전사까지 잘하면, 굳이 전사 API를 따로 살 이유가 줄어든다. 물론 두 회사는 이미 그걸 알고 대응 중이야. 일레븐랩스는 Scribe v2 Realtime을 자사 Agents 제품에 붙여서 "모델"이 아니라 "플랫폼"으로 팔고 있고, SOC 2·ISO 27001·PCI DSS L1·HIPAA·GDPR에 EU/인도 데이터 레지던시와 무보존 모드까지 갖춰서 규제 산업 쪽에 참호를 팠다. 딥그램은 실시간 스트리밍 지연과 온프레미스 배포로 버틴다. 그래도 "기본값"의 자리를 빼앗기는 압력은 실재한다.

둘째로 손해 보는 쪽은 1.0에 최적화해둔 기존 고객들이다. 8월 5일 별칭 전환은 사실상 강제 업그레이드에 가깝고, 가격은 60% 오른다. 통화량이 큰 서비스라면 이건 월 단위로 꽤 아픈 숫자야. 분당 0.03달러 차이는 하루 1만 분 통화하는 사업자에게 월 9,000달러 추가 비용이다. 성능이 올랐으니 정당하다고 볼 수도 있지만, 1.0으로도 충분했던 워크로드 — 예를 들어 단순 예약 확인이나 배송 조회 — 에는 그냥 인상일 뿐이야. 이런 고객은 1.0에 핀을 박거나, 저렴한 대안을 찾아 나서게 된다.

셋째, 애매한 위치에 놓인 건 사람 상담원 그 자체다. 다만 여기서 과장은 금물이야. 지금까지 음성 AI가 콜센터를 대체하지 못한 진짜 이유는 지연이나 인식률보다 "예외 처리"였다. 매뉴얼 밖의 상황, 화난 고객, 시스템끼리 정보가 안 맞는 경우. τ-Voice 56.5%라는 숫자를 뒤집으면 43.5%는 여전히 해결 못 한다는 뜻이고, 이건 실제 콜센터 기준으로는 낙제점이야. 대체가 아니라 "1차 응대 자동화 비율이 올라가고 사람은 더 어려운 통화만 받게 된다"는 쪽이 현실적인 그림이다. 그건 그거대로 상담원의 노동 강도를 올린다는 문제가 있고.

예전에도 이런 적 있었지 — 성공 둘, 실패 둘

성공 사례부터. 음성 인식이 진짜로 산업을 바꾼 대표 케이스는 뉘앙스(Nuance)의 의료 받아쓰기다. 드래곤 계열 제품으로 의사들이 진료 기록을 말로 남기게 만들었고, 임상 워크플로에 깊게 박히면서 대체 불가능한 위치가 됐다. 마이크로소프트가 2021년에 197억 달러를 주고 인수한 이유가 그거야. 여기서 배울 점은 인식률 자체가 아니라 워크플로 통합이었다는 거다. 뉘앙스는 벤치마크에서 1등이라 이긴 게 아니라, 전자의무기록 시스템 안에 들어가 앉아서 이겼어.

또 하나의 성공은 조금 더 최근이다. 일레븐랩스가 2023~2025년 사이에 TTS 품질 리더십을 실제 시장 점유로 전환한 과정. 얘네는 "우리 목소리가 제일 자연스럽다"를 데모로 증명한 다음, 그걸 API로 열고, 다시 에이전트 플랫폼으로 감쌌다. 모델 품질에서 시작해 개발자 생태계로 확장하는 정석 코스를 밟은 거야. xAI가 지금 하려는 것도 정확히 이 경로다. 벤치마크로 주목을 끌고, Agent Builder 같은 도구로 붙잡아두고, 결국 인프라 계층을 차지하는 것. 실제로 이번 2.0은 Agent Builder에서 바로 쓸 수 있게 나왔다고 보도됐어.

이제 실패 사례. 첫 번째는 구글 듀플렉스다. 2018년 I/O에서 AI가 미용실에 전화를 걸어 "음—" 하는 추임새까지 넣으며 예약을 잡는 데모를 보여줬을 때, 청중은 기립박수를 쳤다. 그런데 그 뒤가 문제였어. 실제 서비스에서는 사람 오퍼레이터가 상당 부분 개입해야 했고, AI가 사람인 척 전화하는 게 윤리적으로 괜찮냐는 논란이 붙었고, 확장은 계속 미뤄지다가 결국 대부분의 기능이 축소되거나 정리됐다. 교훈은 명확해. 무대 위 데모와 야생의 통화는 다른 종목이다. 야생에는 사투리가 있고, 배경 소음이 있고, 매뉴얼에 없는 질문이 있다. τ-Voice가 굳이 억양·소음·패킷 손실을 시뮬레이션에 넣은 이유가 이 교훈 때문이야.

두 번째 실패는 휴메인 AI 핀이다. 2024년에 나온 음성 우선 웨어러블인데, 리뷰어들이 가장 많이 지적한 게 바로 지연이었다. 질문을 던지고 몇 초씩 기다려야 하는 경험을 사람들은 견디지 못했고, 제품은 시장에서 빠르게 사라졌다. 여기서 나오는 결론이 이 기사의 핵심 각도랑 맞닿아 있어. 음성 인터페이스에서 지연은 부가 스펙이 아니라 제품의 정체성이다. 0.7초와 2.5초는 같은 제품의 다른 설정값이 아니라, 아예 다른 제품이야. 그래서 Qwen이 84.1%로 1등인데도 4.02초 TTFA 때문에 실시간 통화 시장에서는 논외가 되고, 82.9%에 0.70초인 그록이 실제로는 더 쓸모 있는 물건이 되는 거지. 벤치마크 순위표를 세로로만 읽으면 이 사실을 놓친다.

경쟁자들은 어떻게 나올까

OpenAI 쪽 카드는 가격과 계층화일 가능성이 높아. GPT-Realtime 계열은 이미 토큰 과금 구조라서 요금 조정 여력이 크고, mini 계층을 이용해 저가 워크로드를 방어할 수 있다. 실측 기반 분석들이 얘기하는 분당 0.06~0.11달러 범위는 캐싱을 잘 쓰면 아래쪽으로 내려간다는 뜻이기도 해. 게다가 OpenAI에는 xAI에 없는 게 하나 있다. 기업 계약과 컴플라이언스 문서를 이미 다 정리해둔 영업 조직. 콜센터를 바꾸는 결정은 모델 점수로 나는 게 아니라 조달 절차로 나거든. 다음 세대 GPT-Realtime이 TTFA를 대놓고 마케팅 포인트로 들고 나올 가능성도 크다. 지금까지 OpenAI는 이 지표를 크게 강조하지 않았는데, 상위권에서 유일하게 1초 미만이라는 자리를 그록이 가져갔으니 대응이 안 나올 리 없어.

구글은 다른 종목으로 싸운다. 제미나이 3.1 플래시 라이브의 지수 점수 69.5%는 상위권과 격차가 있지만, 구글의 무기는 벤치마크가 아니라 유통이야. 안드로이드, 검색, 워크스페이스, 그리고 통신사 제휴. 음성 AI를 별도로 사게 만드는 대신 이미 쓰고 있는 제품 안에 끼워 넣는 전략이면 점수 몇 포인트는 덜 중요해진다. 게다가 플래시 계열은 원래 가격 대비 성능이 무기라, "82.9%짜리를 분당 0.08달러에 쓸래, 69.5%짜리를 사실상 번들로 쓸래"라는 질문을 기업 고객에게 던질 수 있다. 단순 문의 응대처럼 난이도가 낮은 통화가 전체 볼륨의 상당 부분이라는 걸 감안하면, 이 질문은 생각보다 강력해.

알리바바는 이미 반격을 했다고 봐야 해. Qwen Audio 3.0 Realtime Plus가 84.1%로 종합 1위를 찍은 게 그록 2.0 발표 며칠 전이야. 심지어 세 개 구성 벤치마크 전부에서 리드했다. 알리바바가 다음에 할 일은 뻔해. TTFA를 줄인 변형을 내놓는 것. 이미 Plus/Flash 두 계층을 운영하고 있고, Flash 계열은 속도 지향이니까, 다음 릴리스에서 "84% 근처 점수에 1초 미만 TTFA"가 나오면 그록의 차별점은 한 번에 사라진다. 가격 압박도 상당하다. 리더보드의 시간당 입력 오디오 비용 항목에서 Qwen 계열은 그록보다 훨씬 아래에 있어서, 대량 트래픽 고객에게는 그 자체로 협상 카드가 된다.

일레븐랩스와 딥그램의 대응은 "우리는 모델이 아니라 시스템을 판다"는 쪽으로 갈 거야. 일레븐랩스는 이미 Agents 제품에 Scribe v2 Realtime을 붙여놨고, 인증과 데이터 레지던시, 무보존 모드 같은 걸로 금융·의료 고객을 잡아두고 있다. 이런 참호는 벤치마크 점수로 뚫기 어렵다. 규제 산업 구매 담당자는 "정확도 1.8배"보다 "HIPAA 문서 있나요"를 먼저 묻거든. 딥그램은 온프레미스와 초저지연 스트리밍으로, 통화 녹취 분석처럼 음성-음성 모델이 잘 안 건드리는 인접 시장에서 버틸 수 있다.

마지막으로 인프라 중립 진영이 있다. LiveKit, Twilio, Vapi 같은 오케스트레이션 계층은 어떤 모델이 1등이 되든 손해 볼 게 없어. 오히려 모델 교체가 잦아질수록 "모델 갈아끼우기 쉬운 레이어"의 가치가 올라간다. 실제로 이번 8월 5일 별칭 전환 같은 사건이 반복되면, 개발자들은 모델을 직접 부르는 대신 추상화 계층 뒤에 두려고 할 거야. xAI 입장에서는 락인을 원하는데, 시장은 반대 방향으로 움직이는 셈이지.

그래서 뭐가 달라지는데

개발자한테는 당장 이틀짜리 할 일이 생겼어. grok-voice-latest를 쓰고 있다면 8월 5일에 모델이 바뀐다. 지연 특성이 좋아지는 건 반가운 일이지만, 응답 길이와 대화 전략이 바뀌었으니 프롬프트와 턴 종료 감지 로직을 다시 봐야 한다. 특히 이 모델이 "짧게, 한 번에 하나씩" 쪽으로 튜닝됐다면, 1.0에서 길게 설명하도록 유도해둔 프롬프트는 충돌할 수 있어. 그리고 요금이 60% 오른다는 걸 재무 담당한테 미리 말해두는 게 좋다. 결정이 필요한 워크로드라면 1.0 핀 고정 → 스테이징에서 2.0 A/B → 순차 전환이 안전한 순서야.

투자자 관점에서는 두 가지가 눈에 들어온다. 하나는 xAI가 스페이스X 산하 상장사의 사업부가 됐다는 사실이야. 이제 음성 API 매출은 실적 설명 대상이 되고, 가격 인상은 마진 방어 신호로 읽힌다. 성능이 좋아졌는데 가격을 60% 올렸다는 건, 병렬 추론 구조의 서빙 원가가 실제로 높거나 혹은 프리미엄 포지셔닝을 택했다는 뜻인데, 어느 쪽이든 "AI 추론 가격은 무한정 떨어진다"는 통념에 반하는 데이터 포인트다. 다른 하나는 단품 음성 벤더들의 방어력이다. 일레븐랩스처럼 컴플라이언스와 플랫폼으로 참호를 판 쪽과, 순수 모델 성능으로만 싸우는 쪽의 운명이 앞으로 몇 분기 안에 갈릴 가능성이 높아.

일반 사용자한테 오는 변화는 눈에 잘 안 보이는 종류다. 어느 날 통신사나 항공사에 전화를 걸었는데 상대가 이상하게 매끄럽고 대기가 없다면, 그게 이 기술이 배포된 결과일 수 있어. 좋은 소식은 ARS 메뉴를 여섯 단계 타고 내려가는 경험이 줄어든다는 것. 나쁜 소식은 상대가 AI라는 걸 명확히 알리지 않으면 구글 듀플렉스 때 나왔던 윤리 논란이 그대로 반복된다는 것이고, 실제로 여러 관할권에서 AI 통화 고지 의무가 강화되는 추세다. 참고로 xAI는 최근 다른 이슈들 — 영국 딥페이크 관련 소송, 미네소타주 소송 — 로도 뉴스에 오르내리고 있어서, 음성 합성 기술의 오남용 리스크에 대한 시선이 곱지만은 않은 상황이야.

기업과 기관 담당자라면 지금이 파일럿을 설계할 시점이다. 다만 벤치마크 숫자를 그대로 KPI로 옮기지 마라. τ-Voice는 항공·리테일·텔레콤 세 도메인의 정형화된 시나리오이고, 당신 회사의 통화는 그 세 개 중 어디에도 정확히 안 들어맞는다. 0.70초라는 TTFA도 Big Bench Audio 질문 기준 평균값이라, 긴 컨텍스트와 무거운 도구 호출이 붙은 실제 통화에서는 달라질 수 있어. 실전에서 봐야 할 건 세 가지야. 첫째, 소음 환경에서의 전사 실패율(당신 고객이 지하철에서 전화한다는 걸 잊지 마). 둘째, 에스컬레이션 정확도 — 못 하겠으면 빨리 사람한테 넘기는가. 셋째, 통화 후 처리까지 포함한 단대단 원가. 분당 0.08달러는 모델 요금일 뿐, 도구 호출·오케스트레이션·감사 로그를 더하면 그림이 달라진다.

정책·규제 쪽 사람들에게도 한 줄. 전사 정확도가 오르고 지연이 내려간다는 건, AI 통화와 사람 통화를 소리만으로 구별하기가 점점 어려워진다는 뜻이야. 고지 의무, 녹취 동의, 그리고 합성 음성 표시 같은 규칙이 기술 속도를 못 따라가면 문제가 생긴다. 이미 EU AI법의 투명성 조항이나 미국 일부 주의 AI 공개 요건이 이 영역을 건드리고 있는데, "0.7초짜리 자연스러운 AI"는 그 규칙들의 실효성을 실전에서 시험하게 될 거야.

🥄 남은 궁금증 세 가지

— 그래서 나랑 무슨 상관이야? 당장은 별 상관 없어. 다만 앞으로 몇 달 안에 고객센터 전화가 이상하게 빠르고 매끄러워진다면 그게 이 기술일 가능성이 높고, 상대가 사람인지 물어볼 권리는 여전히 너한테 있어. 음성 에이전트를 직접 만드는 개발자라면 8월 5일 별칭 전환이 진짜 일정이야.

— 그록이 이제 음성 1등인 거야? 반은 맞고 반은 틀려. 종합 지수로는 알리바바 Qwen Audio 3.0 Realtime Plus(84.1%)가 1위고 그록은 82.9%로 2위야. 대신 에이전트 성능(τ-Voice) 56.5%는 1위고, 상위 5개 중 유일하게 첫 소리까지 1초 미만이야. 실시간 통화용으로만 좁히면 지금은 그록이 가장 실용적인 선택에 가깝다고 볼 수 있지만, 벤치마크 순위는 몇 주 단위로 뒤집히는 판이라 단정하긴 일러.

— 성능 올랐는데 왜 가격이 올라? 분당 0.05달러에서 0.08달러로 60% 인상이 맞아. xAI가 이유를 상세히 밝히진 않았어서 추정만 가능한데, 병렬 추론 구조의 서빙 원가가 실제로 더 들거나, 아니면 성능 우위를 프리미엄으로 회수하겠다는 판단일 수 있어. 통화량이 큰 곳이라면 1.0에 핀을 박아두고 실제 품질 차이가 그 값어치를 하는지 먼저 재보는 게 합리적이야.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.