78시간 걸리던 걸 11시간에 끝냈어

8월 13일 오픈AI가 세레브라스와 함께 '울트라패스트(Ultrafast)' 모드를 공개했어. GPT-5.6 솔을 위한 새 서비스 티어야. 핵심은 한 문장으로 요약돼. 같은 모델을 최대 14배 빠르게 돌리는데 품질은 그대로라는 거야.

숫자로 보면 이래. 출력 속도가 초당 최대 750토큰이야. 표준 처리 대비 최대 14배고. 그리고 이건 축소 모델이나 증류 모델이 아니라 온전한 GPT-5.6 솔이야. 이 구분이 중요해. 보통 속도를 높인다고 하면 작은 모델로 갈아타거나 추론 강도를 낮추는데, 이번 건은 같은 모델을 그대로 두고 하드웨어를 바꿔서 얻은 속도야.

가장 인상적인 시연은 벤치마크 완주 시간이야. HLE(Humanity's Last Exam) 2,500문항을 GPT-5.6 솔 울트라패스트는 11시간 11분에 끝냈어. 같은 시험을 클로드 페이블 5는 78시간 27분이 걸렸고. 7배 차이야. 그리고 GDP-Val 벤치마크에서는 품질 손실 없이 종단 간 5.6배 단축을 기록했어.

지금 AI 업계의 경쟁축이 하나 더 늘어난 순간이야. 지금까지는 지능(벤치마크 점수)과 가격이 두 축이었어. 이제 세 번째 축으로 속도가 올라왔어.

두 회사가 각각 무엇을 들고 왔냐면

세레브라스는 웨이퍼 한 장을 통째로 칩 하나로 쓰는 회사야. 일반적인 반도체 제조는 웨이퍼를 잘라서 수백 개의 칩을 만드는데, 세레브라스는 자르지 않고 웨이퍼 크기 그대로 하나의 프로세서를 만들어. 이 방식의 이점은 온칩 메모리 용량이야. 웨이퍼 하나에 44GB의 SRAM이 들어가.

이게 왜 속도로 이어지는지는 병목이 어디 있는지를 보면 알 수 있어. GPU로 대형 언어 모델을 돌릴 때 실제 병목은 연산 능력이 아니라 메모리 대역폭이야. 토큰 하나를 만들 때마다 모델 가중치를 메모리에서 읽어와야 하는데, 이 왕복이 전체 시간의 대부분을 차지해. 세레브라스 구조에서는 가중치가 칩 위에 그대로 올라가 있어서 그 왕복 자체가 없어져.

오픈AI가 들고 온 건 모델과 유통이야. GPT-5.6 솔은 이 회사의 최상위 추론 모델이고, 아티피셜 애널리시스 인텔리전스 인덱스에서 61점으로 클로드 오퍼스 5(63점)와 페이블 5(62점) 바로 아래에 있어. 그 모델을 새 하드웨어에 얹어 API의 새 티어로 판다는 게 이번 발표의 구조야.

속도가 왜 지금 중요해졌냐면 사용 방식이 바뀌었기 때문이야. 사람이 질문하고 답을 읽던 시절에는 초당 30토큰이든 60토큰이든 큰 차이가 없었어. 읽는 속도가 더 느렸으니까. 그런데 에이전트가 등장하면서 상황이 달라졌어. 에이전트는 한 작업에 수십에서 수백 번의 모델 호출을 연쇄로 이어붙여. 각 호출의 지연이 곱해지니까, 초당 토큰 수가 곧 작업 완료 시간이 돼.

오픈AI 연구자 제프리 왕의 코멘트가 이 변화를 잘 보여줘. "제가 다른 일로 넘어갈 틈도 없이 끝나 있어요. 생산성이 확 올라갑니다." 컨텍스트 스위칭이 일어나기 전에 작업이 끝난다는 게 이 속도 구간의 실질적 의미야.

숫자를 놓고 보면 어디가 달라지는지 보여

발표된 성능 수치를 정리하면 이래.

항목 수치
출력 속도 최대 초당 750토큰
표준 처리 대비 최대 14배
클로드 페이블 5 대비 11배
오퍼스 4.8 패스트 모드 대비 5배
HLE 2,500문항 완주 — 울트라패스트 11시간 11분
HLE 2,500문항 완주 — 클로드 페이블 5 78시간 27분 (7배 차이)
GDP-Val 종단 간 단축 5.6배 (품질 손실 없음)
웨이퍼당 온칩 SRAM 44GB
제공 경로 오픈AI API 신규 서비스 티어
현재 상태 일부 고객 대상 제한적 프리뷰
발표일 2026년 8월 13일

표에서 가장 논쟁적인 줄은 "품질 손실 없음"이야. 속도를 14배 올리면서 같은 모델이라고 주장하려면 근거가 필요한데, 오픈AI가 제시한 게 GDP-Val 결과야. 종단 간 5.6배 빨라지면서 품질 지표가 유지됐다는 거지. 하드웨어 교체만으로 얻은 속도라면 이론적으로는 출력이 같아야 하는 게 맞아.

HLE 완주 시간 비교는 조금 조심해서 읽어야 해. 11시간 대 78시간이라는 대비가 강렬하지만, 이건 두 가지 요인이 섞인 숫자야. 하드웨어 속도 차이와 모델이 문제 하나에 쓰는 토큰 양의 차이야. 추론 모델은 답을 내기 전에 길게 생각하는데, 그 생각의 길이가 모델마다 달라. 그러니까 이 비교는 "세레브라스가 7배 빠르다"가 아니라 "이 조합이 같은 시험을 7배 빨리 끝냈다"로 읽는 게 정확해.

접근 경로도 짚어둘 필요가 있어. 울트라패스트는 오픈AI API를 통해서만 제공되고, 지금은 일부 고객 대상 제한적 프리뷰야. 컴퓨팅 용량이 늘어나는 대로 접근 범위를 넓히겠다고 했어. 즉 지금 당장 아무나 쓸 수 있는 건 아니야. 웨이퍼 스케일 칩은 생산량이 GPU만큼 나오지 않으니까 이 제약은 당분간 이어질 가능성이 커.

겨냥한 용도도 발표에 명시돼 있어. 금융 리서치, 인시던트 대응, 고객 지원, 음성 애플리케이션, 커머스, 실시간 실험이야. 공통점이 보여. 전부 사람이나 시스템이 기다리고 있는 상황이야. 배치 처리처럼 밤새 돌려도 되는 작업은 이 목록에 없어.

이 목록에서 특히 눈여겨볼 건 '실시간 실험'이야. 지금 AI 제품 개발의 병목 중 하나가 평가 주기거든. 프롬프트를 하나 고치고 결과를 보려면 수백 건의 샘플을 돌려야 하는데, 그게 몇 시간씩 걸리면 하루에 시도할 수 있는 개선이 몇 번으로 제한돼. HLE 완주 시간이 78시간에서 11시간으로 줄었다는 건 벤치마크 자랑이 아니라 이 반복 주기가 하루 단위에서 시간 단위로 내려온다는 뜻이야. 개발 속도가 곧 제품 경쟁력인 국면에서 이건 생각보다 큰 차이야.

한편 이번 발표에서 끝까지 빠진 정보가 가격이야. 전용 하드웨어 티어에 얼마를 받을지 공개되지 않았어. 이게 중요한 이유는, 속도가 비용과 맞바꿔지는 성격의 자원이기 때문이야. 웨이퍼 스케일 칩은 생산 단가가 높고 공급도 제한적이라 프리미엄이 붙을 가능성이 커. 다만 같은 작업을 훨씬 적은 벽시계 시간에 끝내면 인프라 점유 시간이 줄어드니까, 총비용이 어느 방향으로 움직일지는 워크로드에 따라 갈릴 거야.

이 발표로 누가 뭘 챙기냐면

오픈AI가 챙기는 건 경쟁축의 재설정이야. 지금 이 회사가 처한 압박은 두 방향이야. 위로는 앤스로픽의 클로드 오퍼스 5·페이블 5가 벤치마크에서 앞서 있고, 아래로는 그록 4.6이 같은 점수를 5분의 1 가격에 서빙하고 있어. 지능에서 1위가 아니고 가격에서도 1위가 아닌 상황에서, 속도라는 새 축을 만들어 그 축의 1위를 차지한 거야.

세레브라스에게는 이게 최고의 레퍼런스야. 웨이퍼 스케일 아키텍처는 오랫동안 "흥미롭지만 실용성이 증명 안 된 기술"로 취급받아 왔어. 세계에서 가장 많이 쓰이는 프론티어 모델이 자사 하드웨어 위에서 14배 빨리 돈다는 사실은 그 논쟁을 끝내는 종류의 증거야.

에이전트 제품을 만드는 회사들이 실질적인 수혜자야. 에이전트의 사용자 경험에서 가장 큰 불만은 대부분 "느리다"야. 응답을 기다리는 동안 사용자는 다른 창으로 넘어가고, 넘어가면 세션이 끊겨. 초당 750토큰이면 그 구간의 상당 부분이 사라져.

엔비디아에게는 미묘한 신호야. 당장 위협은 아니야. 세레브라스의 생산 규모는 엔비디아와 비교할 수준이 아니거든. 다만 이번 발표는 "추론 워크로드에는 다른 아키텍처가 더 맞을 수 있다"는 주장의 가장 강력한 실증이야. 훈련 시장과 달리 추론 시장에서는 아키텍처 경쟁이 열려 있다는 걸 보여줬어.

사용자 입장에서는 아직 직접적인 이득이 없어. 제한적 프리뷰라 대부분은 쓸 수 없고, 가격 정보도 공개되지 않았어. 다만 이 티어가 열리면 실시간 음성 대화나 라이브 코딩 보조 같은 제품의 체감 품질이 눈에 띄게 달라질 거야.

예전에도 이런 속도 경쟁이 있었는데 결과는 갈렸어

전용 하드웨어로 특정 워크로드의 속도를 극적으로 끌어올린 사례는 반도체 역사에서 반복돼 왔어.

성공 사례의 원형은 GPU 자신이야. 원래 그래픽 렌더링용으로 만들어진 칩이 병렬 연산에 적합하다는 게 밝혀지면서 딥러닝의 기반이 됐어. 여기서 통한 논리는 "범용 프로세서로 하던 걸 전용 구조로 옮기면 한 자릿수 이상의 개선이 나온다"는 거야. 세레브라스의 주장도 같은 형태야. 다만 GPU는 이미 생태계가 완성돼 있고 세레브라스는 그렇지 않다는 차이가 있어.

두 번째 성공 사례는 구글의 TPU야. 자체 워크로드에 맞춘 전용 칩을 만들어 원가와 속도 양쪽을 잡았고, 지금 구글이 모델 가격 경쟁에서 여유를 갖는 근거가 이거야. 이 사례가 시사하는 건 전용 하드웨어의 진짜 가치가 벤치마크 숫자가 아니라 단위 경제성이라는 점이야.

실패 패턴도 뚜렷해. AI 전용 칩을 만든 스타트업 중 상당수가 벤치마크에서 인상적인 숫자를 냈지만 시장에서 자리를 잡지 못했어. 원인은 대개 두 가지야. 소프트웨어 생태계가 따라오지 못했거나, 모델 아키텍처가 바뀌면서 최적화가 무의미해졌거나. 세레브라스가 이번에 프론티어 모델 회사와 직접 협업한 방식은 첫 번째 문제를 우회하는 영리한 접근이야. 생태계를 자기가 만드는 대신 이미 생태계를 가진 쪽에 얹었으니까.

세 번째 참고점은 속도라는 지표 자체의 수명이야. 속도 우위는 상대적이고, 경쟁사가 같은 방향으로 투자하면 좁혀져. 반면 가격 우위는 원가 구조에서 나오기 때문에 더 오래 가는 편이야. 이번 발표가 만든 14배 격차가 몇 분기나 유지될지는 지켜봐야 알아.

경쟁자들은 어떻게 받아칠까

앤스로픽은 다른 축으로 답했어. 하루 뒤인 8월 14일 클로드 코드의 오토 모드를 유료 요금제 기본값으로 바꿨어. 승인 대기를 없애서 체감 완료 시간을 줄이는 접근이야. 토큰 생성 속도를 올리는 대신 대기 구간 자체를 없애는 방향이지. 그리고 78시간이라는 HLE 완주 시간이 비교 대상으로 인용된 만큼, 속도 쪽 대응도 나올 가능성이 있어.

구글은 이미 자체 TPU를 갖고 있어서 하드웨어 축에서 자유로워. 제미나이 3.5 플래시처럼 속도에 특화된 모델 라인을 별도로 운영하는 방식으로 대응하고 있어. 그리고 8월 11일 발표한 월간 10억 명이라는 규모는 그 자체로 추론 최적화의 경제적 근거가 돼.

스페이스XAI는 가격으로 붙어. 그록 4.6은 같은 벤치마크 점수를 5분의 1 가격에 서빙하지만, 출력 속도는 초당 65토큰대로 오히려 느린 편이야. 8월 14일 커서 인수를 마무리하면서 자체 컴퓨팅을 확보했으니 이 축에서 어떻게 움직일지가 관전 포인트야.

다른 추론 전용 하드웨어 업체들에게는 시장이 열렸다는 신호야. 프론티어 랩이 GPU 외의 아키텍처를 공식 채택했다는 사실 자체가 이 카테고리 전체의 신뢰도를 올려. 다만 오픈AI와의 협업이라는 자리는 하나뿐이야.

엔비디아는 추론 최적화 제품군으로 대응할 거야. 훈련에서의 지배력은 흔들리지 않지만, 추론 시장에서는 워크로드별 최적화 경쟁이 본격화되는 국면이야.

그래서 뭐가 달라지는데

에이전트 제품을 만드는 개발자에게는 설계 전제가 바뀔 수 있어. 지금 대부분의 에이전트 UX는 "느리다"를 전제로 설계돼 있어. 진행 상황 표시, 백그라운드 실행, 중간 결과 스트리밍 같은 것들이 다 그 전제 위에 있지. 초당 750토큰 구간이 보편화되면 이 설계 중 상당수가 불필요해져.

실시간 제품을 만드는 팀에게는 새로운 가능성이 열려. 음성 대화, 라이브 코딩 보조, 인시던트 대응처럼 지연이 곧 제품 품질인 영역이야. 다만 지금은 제한적 프리뷰라 실제 적용 가능성은 접근 권한을 얻을 수 있느냐에 달려 있어.

비용을 관리하는 입장이라면 아직 판단할 정보가 부족해. 가격이 공개되지 않았거든. 일반적으로 전용 하드웨어 티어는 프리미엄이 붙는데, 반대로 같은 작업을 훨씬 빨리 끝내면 총 토큰 소비가 줄어들 여지도 있어. 실제 청구서를 봐야 아는 문제야.

AI 인프라에 관심 있는 사람에게 이번 발표의 진짜 의미는 추론 시장의 구조가 열렸다는 거야. 훈련 시장은 사실상 하나의 아키텍처가 지배하고 있지만, 추론은 워크로드가 다양해서 여러 아키텍처가 공존할 여지가 있어. 그리고 추론은 전체 컴퓨팅 수요에서 차지하는 비중이 계속 커지고 있어.

업계 전체로 보면 경쟁축이 셋으로 늘어난 게 핵심이야. 지능, 가격, 그리고 속도. 이 셋을 동시에 1위 하는 회사는 지금 없어. 그러니까 앞으로 몇 분기 동안 모델 선택은 "가장 좋은 모델"이 아니라 "이 작업에 맞는 축"을 고르는 문제가 될 가능성이 높아.

🥄 남은 궁금증 세 가지

— 같은 모델인데 정말 품질이 똑같아? 오픈AI는 GDP-Val에서 5.6배 빨라지면서 품질 손실이 없었다고 밝혔어. 하드웨어만 바꾼 거라면 이론적으로는 같은 출력이 나오는 게 맞아. 다만 공개된 검증 범위가 아직 좁아서, 네 워크로드에서 직접 확인해 보는 게 확실해.

— 지금 쓸 수 있어? 대부분은 아니야. 오픈AI API의 신규 티어로 제공되는데 현재는 일부 고객 대상 제한적 프리뷰야. 컴퓨팅 용량이 늘면서 확대할 계획이라고 했어. 웨이퍼 스케일 칩의 생산 규모를 감안하면 이 제약은 당분간 이어질 가능성이 커.

— 앞으로 모든 모델이 이렇게 빨라지는 거야? 단정하긴 일러. 이번 속도는 특정 하드웨어 아키텍처에서 나온 결과고, 그 하드웨어의 공급량이 제한적이야. 그리고 속도 우위는 경쟁사가 같은 방향으로 투자하면 좁혀지는 종류의 우위야. 다만 추론 속도가 경쟁축으로 확립된 건 되돌아가지 않을 변화로 보여.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.