산타클라라에서 램이 GPU 위로 올라갔다

먼저 숫자 하나부터 보자. 512GB. 이게 지난 8월 4일 산타클라라 컨벤션센터에서 SK하이닉스와 샌디스크가 공개한 새 규격 하나의 스택 용량이야. 낸드 다이를 8단 또는 16단으로 쌓아 만든 덩어리 하나가 512기가바이트. 그리고 그 덩어리가 SSD처럼 PCIe 케이블 끝에 매달려 있는 게 아니라, HBM이 앉는 자리 바로 옆에서 GPU와 직접 붙는다. 대역폭은 등급에 따라 약 0.4TB/s, 1.5TB/s, 3.0TB/s. 가장 빠른 등급은 요즘 나오는 최상급 PCIe Gen6 SSD보다 100배 빠른 영역이다.

같은 날, 같은 행사장에서 삼성전자는 완전히 다른 방향의 답을 내놨다. 지금까지 HBM은 GPU 다이 옆에 나란히 앉아 인터포저를 통해 이야기를 나눴는데, 삼성은 그걸 GPU 위에 올려버리는 구조를 처음 공개했어. 이름이 zHBM이다. Z축, 그러니까 수직 방향으로 쌓는다는 뜻이야. 삼성 주장으로는 차차세대 규격인 HBM5 대비 성능 약 8배, 메모리 밀도 10배 이상, 에너지 효율 3배, 열 저항 50% 이상 감소다.

무대는 FMS 2026(Future of Memory and Storage), 8월 4~6일 산타클라라 컨벤션센터. 예전 이름은 플래시 메모리 서밋이었고, 몇 년 전만 해도 SSD 컨트롤러와 QLC 낸드 이야기를 하던 자리였다. 올해 이 행사가 통째로 하나의 질문에 매달렸다. "추론 워크로드가 요구하는 메모리 용량을, 대체 무슨 돈으로 감당할 거냐."

이 질문이 왜 급해졌는지는 간단한 산수로 설명된다. 요즘 추론 서비스에서 메모리를 가장 많이 먹는 건 모델 가중치가 아니라 KV 캐시다. 대화가 길어질수록, 동시 접속자가 많아질수록 선형으로 늘어난다. 더레지스터가 계산한 예시를 빌리면 딥시크 R1에서 6만4000토큰짜리 시퀀스 하나가 GPU 메모리 4GB를 먹는다. 사용자 1000명이 동시에 긴 대화를 하고 있으면 그것만으로 테라바이트급이다. HBM은 이 용량을 감당하기엔 비싸고, SSD는 감당할 만큼 싸지만 너무 느리다. 그 사이가 비어 있어. 지금 메모리 업계 전체가 그 빈칸을 노리고 있다.

그리고 흥미로운 건 이거야. 그 빈칸을 메우겠다고 나선 회사들이 서로 다른 물건을 들고 나왔고, 서로의 진영에 참여하지 않고 있다. SK하이닉스와 샌디스크가 만든 HBF 컨소시엄에 삼성전자도, 마이크론도, 키옥시아도, 엔비디아도 없다. 이 기사는 그 공백들이 뭘 의미하는지에 대한 이야기다.

같은 무대에 오른 네 회사, 그리고 안 온 회사들

먼저 SK하이닉스. 지금 이 회사의 상태를 한 줄로 요약하면 "메모리 역사상 본 적 없는 숫자를 찍는 중"이다. 7월 29일 발표한 2026년 2분기 실적을 보면 매출 79조3187억 원, 영업이익 60조5426억 원으로 영업이익률이 76%다. 전년 동기 대비 매출은 257%, 영업이익은 557% 늘었고, 상반기 누적 매출이 창사 처음으로 100조 원을 넘겼다. 2분기 말 현금성 자산이 88조 원, 순현금이 69조4000억 원이다. 제조업 회사가 영업이익률 76%를 찍는 건 정상적인 산업 구조가 아니라는 뜻이기도 하지만, 어쨌든 지금은 그렇다.

이 이익의 대부분은 HBM에서 나온다. 카운터포인트 리서치 집계 기준 2026년 1분기 HBM 시장 점유율은 SK하이닉스 58%, 삼성전자와 마이크론이 각각 21%였다. 1년 전 같은 분기의 69%에서는 내려온 수치야. UBS는 엔비디아 차세대 루빈 플랫폼용 HBM4에서 SK하이닉스가 약 70%를 가져갈 것으로 봤다. 즉 SK하이닉스는 D램 쪽에서는 이미 이겨 있고, 낸드 쪽에서 같은 종류의 승리를 아직 못 만든 상태다. HBF가 왜 이 회사한테 중요한지가 여기서 나온다.

삼성전자는 반대편 그림이다. HBM4를 업계 처음으로 2026년 2월에 양산·출하한 건 삼성이었고, SK하이닉스는 2분기에야 양산에 들어갔다. 카운터포인트는 2026년 HBM4 시장에서 삼성 28%, 마이크론 18%를 점칠 정도로 격차가 좁혀지고 있다고 봤다. 그리고 삼성이 FMS에서 계속 강조한 포인트가 하나 있어. "메모리·파운드리·첨단 패키징을 모두 가진 유일한 종합반도체 회사"라는 것. zHBM처럼 로직 다이 위에 메모리를 직접 쌓아야 하는 구조에서는 이 조합이 실제로 무기가 된다. 메모리 회사 혼자서는 못 만드는 물건이거든.

FMS 2026 삼성 키노트 무대에는 플래시 제품·기술 담당 이진엽 부사장(EVP)과 D램 설계팀 프로젝트 리더 김경련 상무(VP)가 올랐다. 발표 제목이 "Driving the Wave of AI Revolution: 3D Innovations in Memory & Storage Architecture"였다. 제목에 3D가 들어간 게 우연이 아니야. 삼성이 이번에 들고 나온 세 가지 — zHBM, zNAND-O, V10 BV-NAND — 가 전부 "평면으로 넓히는 대신 위로 쌓는다"는 한 문장으로 묶인다.

세 번째 주체가 샌디스크다. 2025년 웨스턴디지털에서 분사해 독립 상장한 회사인데, 상황이 묘하다. 일본 욧카이치·기타카미 공장을 키옥시아와 공동 소유하고 있어서 두 회사가 같은 웨이퍼 라인에서 낸드를 뽑는다. 그런데 이번에 샌디스크는 SK하이닉스와 손잡고 HBF를 밀고, 키옥시아는 따로 논다. 같은 공장에서 나온 웨이퍼로 서로 다른 미래를 만들고 있는 셈이야. 샌디스크 CTO 알퍼 일크바하르는 이번 규격 공개에 맞춰 이렇게 말했다. "AI 추론이 새로운 메모리 요구사항을 만들어내고 있고, HBF 기술은 바로 그 순간에 응답하도록 설계됐다."

그리고 컨소시엄에 이름을 올린 나머지 두 곳이 의미심장하다. 구글과 텐스토렌트. 구글은 TPU를 직접 설계해서 쓰는 회사고, 텐스토렌트는 짐 켈러가 이끄는 AI 가속기 스타트업이다. 둘 다 엔비디아가 아닌 가속기를 만드는 곳이야. HBM 물량을 엔비디아와 경쟁해서 확보해야 하는 처지의 회사들이, 낸드 기반 용량 계층에 관심을 갖는 건 당연한 일이다. 반대로 엔비디아, AMD, 인텔, 브로드컴, 퀄컴, 마이크론, 삼성 — 이 명단이 통째로 비어 있다는 게 이 컨소시엄의 현재 좌표이기도 하다.

8단, 16단, 그리고 64개의 채널

HBF가 실제로 뭘 하는 물건인지 조금 더 파보자. OCP(오픈컴퓨트프로젝트)를 통해 공개된 이번 규격은 버전 0.7.0이고, 문서가 정의하는 건 다섯 덩어리다. xPU-HBF 호스트 인터페이스, 전기적 가이드라인, 기본 성능 기대치, HBF 다이 스택의 신뢰성·패키징 지침, 그리고 읽기/쓰기 동작에 대한 소프트웨어 사용 가이드. 여기서 xPU는 GPU든 TPU든 NPU든 가리지 않겠다는 뜻의 표기야.

물리적 연결은 UCIe(Universal Chiplet Interconnect Express)를 쓴다. 이게 규격 설계에서 가장 영리한 부분이다. 새 인터커넥트를 발명해서 업계에 채택해달라고 빌지 않고, 이미 칩렛 연결 표준으로 자리 잡은 UCIe에 얹어버렸어. HBM이 자체 인터페이스를 쓰는 것과 대비된다. 가속기 설계자 입장에서는 "이미 UCIe 포트가 있으면 거기에 HBF를 꽂는다"는 그림이 되니까 도입 장벽이 확 낮아진다.

블록스앤파일스가 분석한 채널 구조를 보면 왜 3TB/s가 가능한지가 보인다. HBF는 베이스 컨트롤러 다이를 통해 최대 16개의 호스트 채널을 갖고, 각 호스트 채널마다 AXI 채널을 1~4개 붙일 수 있다. 최대 구성이면 AXI 채널이 64개다. 최고 등급 3.072TB/s를 64로 나누면 채널당 약 49.9GB/s. 비교하자면 삼성이 7월에 양산에 들어간 PCIe Gen6 SSD PM1763이 28.4GB/s이고, 키옥시아 1세대 XL-플래시가 플레인 전체를 합쳐 6.2GB/s다. 채널 하나가 지금까지의 초고속 SSD 전체보다 빠른 구조를 만들겠다는 얘기야.

SK하이닉스는 규격만 들고 나온 게 아니라 물건도 처음 공개했다. 10세대(V10) 375단 4D 낸드 웨이퍼와 제품 실물이다. SK하이닉스가 말하는 4D 낸드는 셀 어레이 아래에 주변 회로를 넣는 PUC(Peri Under Cell)에 전하를 절연막에 가두는 CTF(Charge Trap Flash)를 결합한 구조인데, 이번 세대는 이전 세대 대비 와트당 성능이 2.5배 개선됐다고 밝혔다. 이걸 기반으로 한 고성능·대용량 eSSD 양산을 2027년 초에 시작한다는 계획이다. 솔루션개발 담당 김춘성 부사장은 "AI 애플리케이션의 빠른 확산으로 데이터 처리 구조 전반을 다시 설계해야 하는 시점에 와 있다"며 HBF를 통해 메모리와 스토리지의 경계를 넓히겠다고 말했다.

삼성 쪽 발표는 성격이 다르다. 규격이 아니라 콘셉트 모델이야. zHBM은 다중 웨이퍼 본딩 기술로 HBM을 AI 가속기 위에 수직 적층하는 구조고, 메모리와 가속기 사이 중간층에 고객 전용 IP를 넣을 수 있게 설계했다. 데이터가 이동하는 물리적 거리 자체를 줄이니까 대역폭과 전력 효율이 동시에 좋아지고, 열 저항도 50% 이상 줄어든다는 게 삼성 설명이다. 다만 양산 시점도, 가격도, 고객사도 아무것도 밝히지 않았다. 삼성이 zHBM 개념을 처음 흘린 건 지난 2월 세미콘 코리아였고, 이번이 실물 콘셉트 모델 공개다.

같이 나온 zNAND-O는 엣지 AI용이다. V낸드 기반으로 4단·8단 구성을 만들어 NPU 옆에 붙이는 그림인데, 온디바이스로 큰 데이터를 처리해야 하는 기기에서 공간 효율과 지연 시간을 개선하는 걸 목표로 한다. 그리고 V10 BV-NAND. 웨이퍼 본딩으로 400단 이상을 쌓았다고 발표했고, V9 대비 밀도가 58% 늘었다. 2013년 V낸드 1세대를 내놓은 지 13년째 되는 해에 400단을 넘긴 셈이야. SK하이닉스의 375단과 나란히 놓으면 단수 경쟁의 현재 위치가 보인다.

발표 회사 핵심 스펙 상태
HBF 표준 규격 v0.7.0 SK하이닉스 + 샌디스크 (OCP) 8단/16단 낸드 스택, 스택당 최대 512GB, 대역폭 3등급 약 0.4 / 1.5 / 3.0 TB/s, UCIe 연결, 최대 64 AXI 채널 규격 공개 (2026년 8월 3~4일)
375단 4D 낸드 (V10) SK하이닉스 10세대, 와트당 성능 2.5배 개선 웨이퍼·제품 첫 공개, eSSD 양산 2027년 초
zHBM 삼성전자 가속기 위에 HBM 수직 적층, HBM5 대비 성능 8배·밀도 10배·효율 3배·열저항 -50% (회사 주장) 콘셉트 모델, 양산 시점 미공개
zNAND-O 삼성전자 4단·8단 구성, 엣지 AI용 NAND 콘셉트 모델
V10 BV-NAND 삼성전자 400단 이상, 웨이퍼 본딩, V9 대비 밀도 +58% 발표
GP1 SSD 키옥시아 PCIe 6.0 / NVMe 2.2, 512B 랜덤 리드 최대 1000만 IOPS FMS Best of Show, 평가 샘플 2026년 말

이 표를 세로로 읽으면 계층 구조가 보인다. 지금 AI 서버의 메모리는 대략 이렇게 층이 나뉜다. GPU 안의 HBM은 초당 수 테라바이트를 내지만 용량이 스택당 수십 기가바이트고 가격이 살인적이다. 호스트 DRAM은 그보다 싸고 크지만 PCIe나 NVLink를 건너야 한다. NVMe SSD는 테라바이트 단위로 싸지만 대역폭이 수십 기가바이트에 그친다. HBF가 노리는 자리는 **"HBM급 대역폭 × 낸드급 용량"**이라는, 지금까지 아무도 채우지 못한 칸이야.

그런데 규격 문서가 명시적으로 다루지 않는 것들도 있다. 스토리지리뷰가 짚은 대로 열 관리, 스택당 전력 예산, ECC 세부사항, 생산 원가에 대한 지침은 이번 v0.7.0에 없다. 그리고 규격에도, 발표에도 언급되지 않은 가장 큰 변수가 하나 남아 있어. 쓰기 수명이다. 낸드는 셀당 쓰기 횟수에 한계가 있고, KV 캐시처럼 초 단위로 갈아엎히는 데이터를 낸드에 올리면 이 문제가 정면으로 튀어나온다. 읽기 위주 워크로드(모델 가중치 상주, 임베딩 테이블, RAG 인덱스)에서는 유리하지만, 쓰기 집약적 캐시로 쓰려면 별도의 답이 필요하다. 아직 그 답이 공개되지 않았다는 점은 짚어두는 게 맞아.

이 판에서 누가 뭘 챙겨가나

가장 명확한 수혜자는 SK하이닉스의 낸드 사업이다. 지금 이 회사는 D램에서 압도적이고 낸드에서는 그렇지 않다. 그런데 AI 인프라 예산은 D램 쪽으로만 흐르고 있어. HBF가 자리를 잡으면 낸드가 "SSD용 부품"에서 "가속기 부착 메모리"로 재분류된다. 재분류는 곧 가격 재책정이야. 일반 낸드 마진과 HBM 마진의 격차를 생각하면, 낸드 다이에 AI 프리미엄을 붙일 수 있는 경로 자체가 이 회사한테는 수십조 원짜리 옵션이다. 375단 V10을 굳이 이 자리에서 처음 공개한 것도 그 서사를 완성하기 위해서다. 규격만 있고 만들 물건이 없으면 표준은 종이니까.

샌디스크는 더 절박하다. 웨스턴디지털에서 분사한 뒤 이 회사가 가진 건 낸드 팹 지분과 브랜드인데, 낸드는 전형적인 사이클 산업이라 호황과 불황이 번갈아 오는 구조다. HBF는 그 사이클에서 빠져나갈 수 있는 몇 안 되는 탈출구야. 게다가 규격을 자기가 주도해서 만들면 나중에 IP와 컨트롤러 설계에서 지분을 갖는다. 2025년 8월 SK하이닉스와 표준화 협력을 시작해서 2026년 2월 컨소시엄을 띄우고 6개월 만에 첫 규격을 냈다는 속도 자체가 이 회사의 절박함을 보여준다.

삼성 입장에서 zHBM은 방어와 공격이 겹친 카드다. 방어인 이유는, HBF 같은 낸드 계층이 성공하면 "HBM을 더 많이 사는" 수요가 일부 잠식되기 때문이다. 삼성 매출의 무게중심은 여전히 D램에 있다. 공격인 이유는, zHBM이 성공하면 메모리 회사가 가속기 설계에 개입할 수 있는 지점이 생기기 때문이야. 중간층에 고객 IP를 넣을 수 있다는 설명이 핵심이다. 이건 사실상 커스텀 HBM 이야기고, 커스텀은 곧 마진이다. 그리고 그 물건을 만들려면 로직 파운드리와 첨단 패키징이 필요한데, 그걸 한 지붕 아래 다 가진 메모리 회사는 삼성뿐이다.

구글과 텐스토렌트가 컨소시엄에 들어온 이유도 계산이 명확하다. 엔비디아는 HBM 물량을 선점하고 있고, 자체 가속기를 만드는 회사들은 그 뒤에서 줄을 서야 한다. 낸드 기반 용량 계층이 표준화되면 HBM 의존도를 낮추면서 대용량 추론 서비스를 굴릴 수 있다. 특히 TPU처럼 자기 데이터센터에서 자기 워크로드만 돌리는 가속기는 범용 서버보다 이런 특수 계층을 도입하기가 훨씬 쉽다. 워크로드를 자기가 다 아니까 뭘 낸드에 올려도 되는지 판단할 수 있거든.

반대로 애매해진 쪽도 있다. 첫째는 SSD 벤더들이다. HBF가 GPU 옆으로 올라가면 "GPU 다이렉트 스토리지" 같은 기존 접근이 노리던 자리가 좁아진다. 둘째는 CXL 진영이다. 지난 몇 년간 메모리 확장 표준의 자리를 노렸는데, 정작 AI 추론이라는 가장 큰 수요처에서는 UCIe 기반 근접 부착이 더 유리한 그림이 나오고 있어. 셋째는 규격에 참여하지 않은 낸드 회사들이다. 표준이 자리를 잡으면 나중에 합류하는 쪽은 항상 불리한 조건에서 시작한다.

그리고 지금 이 모든 이야기의 배경에는 메모리 가격이 있다. 트렌드포스 집계 기준 2026년 1분기 일반 D램 계약가가 전분기 대비 90~95% 올랐고 낸드는 55~60% 올랐다. 2분기 낸드는 70~75% 추가 상승이 전망됐다. 메모리가 이 정도로 비싸지면 "GB당 비용"이 아키텍처 선택의 1순위 기준이 된다. HBF의 진짜 세일즈 포인트는 대역폭이 아니라 같은 돈으로 훨씬 많은 GB를 가속기 근처에 놓을 수 있다는 것이고, 지금 같은 가격 환경에서 그 논리는 어느 때보다 잘 먹힌다.

HMC와 옵테인이 남긴 무덤, 그리고 HBM이 남긴 교훈

메모리 업계는 "HBM과 SSD 사이의 새 계층"이라는 아이디어를 이번에 처음 시도하는 게 아니다. 두 번 크게 실패했고, 그 실패의 이유가 지금 HBF에 그대로 적용된다.

첫 번째 무덤은 HMC(하이브리드 메모리 큐브)다. 마이크론이 2011년부터 밀었던 3D 적층 메모리인데, 기술적으로는 HBM보다 오히려 앞선 부분도 있었다. 그런데 결정적인 차이가 하나 있었어. HBM은 JEDEC이라는 독립 표준화 기구를 통해 표준이 됐고, HMC는 컨소시엄 표준에 머물렀다. 이 차이가 생태계를 갈랐다. 반도체 회사들은 "특정 회사가 주도하는 컨소시엄 규격"에 자기 칩 설계를 걸기를 꺼린다. 컨소시엄이 깨지면 물량 공급처가 사라지니까. 마이크론은 2018년 8월 HMC를 접고 GDDR6와 HBM으로 방향을 틀었다. 이 교훈은 HBF에 정확히 겨눠진다. OCP는 훌륭한 오픈소스 하드웨어 커뮤니티지만 JEDEC은 아니고, 지금 HBF 규격에는 낸드 3사 중 두 곳(삼성·마이크론)과 키옥시아가 빠져 있다.

두 번째 무덤은 인텔 옵테인이다. 3D 크로스포인트 기술로 만든 이 물건은 딱 HBF가 노리는 자리, 즉 D램과 낸드 사이를 노렸다. 스펙만 보면 지금 봐도 훌륭하다. PMem 모듈 기준 지연 시간 약 350나노초, 쓰기 수명 하루 100회 풀 드라이브 쓰기(100 DWPD), 당시 DDR4 최대가 128GB이던 시절에 DIMM 하나에 512GB. 그런데 팔리지 않았다. 이유는 잔인할 정도로 단순하다. 같은 용량에서 낸드보다 늘 비쌌고, D램보다 늘 느렸다. 고객은 매번 "그 돈이면 낸드를 더 사거나 D램을 더 꽂겠다"는 결론에 도달했고, DIMM 폼팩터는 인텔 CPU에 종속돼 있어 생태계도 좁았다. 마이크론이 2021년 3D 크로스포인트를 접었고, 인텔은 2022년 사업을 종료하며 5억5900만 달러 규모의 설비를 상각했다.

여기 아이러니가 있다. 옵테인이 죽고 4년 뒤인 지금, 옵테인이 딱 맞는 워크로드가 나타났다. KV 캐시다. 더레지스터가 7월 29일에 쓴 옵테인 추도사가 이 지점을 정확히 찔렀어. 초저지연에 쓰기 수명이 어마어마한 메모리는 KV 캐시 오프로드에 이상적인데, 그 물건이 시장이 도착하기 4년 전에 사라졌다는 것. 지금 그 자리를 노리는 키옥시아 XL-플래시(60 DWPD 수준)나 삼성 Z-낸드는 옵테인의 성능 프로파일에 못 미친다. 타이밍이 기술보다 중요하다는 걸 이보다 잘 보여주는 사례가 드물어. 그리고 이번엔 타이밍이 맞다는 게 HBF 진영의 가장 강한 주장이다.

성공 사례도 봐야 공평하다. HBM 자신이 그 사례야. 2013년 JEDEC 표준이 되고 2015년 AMD 피지 GPU에 처음 실렸을 때, HBM은 "비싸고 수율 나쁜 그래픽카드용 특수 메모리"였다. 게이밍 시장에서는 사실상 실패했고, GDDR에 밀렸다. 10년 뒤 그 물건이 SK하이닉스에 영업이익률 76%를 안겨주고 있다. 무엇이 달랐나. 표준이 열려 있었고, 세대를 거르지 않고 계속 나왔고, 수요처가 나타났을 때 이미 양산 라인이 준비돼 있었다. 세 조건 중 HBF는 첫 번째를 만족했고(OCP 공개), 두 번째는 이제 시작이며, 세 번째는 아직 멀었다. 샘플은 2026년, 양산은 2027년이 목표로 알려져 있는데 이건 회사들이 밝힌 계획이지 확정된 일정이 아니다.

키옥시아는 합류하지 않았다

경쟁 진영의 첫 번째 반격은 키옥시아에서 나왔고, 방식이 재미있다. HBF에 참여하는 대신 완전히 다른 답을 들고 나와서 상을 받아버렸어. GP1 시리즈 SSD다. PCIe 6.0에 NVMe 2.2 인터페이스, XL-플래시 2세대 기반이고, 512바이트 랜덤 리드 기준 최대 1000만 IOPS를 낸다. GPU 다이렉트 액세스에 최적화된 업계 최초의 초고 IOPS SSD라는 게 키옥시아 설명이고, FMS 2026에서 특수 스토리지 부문 Best of Show를 받았다. 평가 샘플은 2026년 말 일부 고객에게 나가고, 로드맵은 1억 IOPS를 향한다.

키옥시아의 논리는 이거야. "GPU 옆에 새 패키지를 붙이는 대신, 기존 PCIe 슬롯에 꽂는 SSD를 미친 듯이 빠르게 만들면 되지 않나." 이 접근의 장점은 명확하다. 가속기 설계를 바꿀 필요가 없고, 지금 있는 서버에 그냥 꽂으면 되고, 표준 싸움에 이길 필요도 없다. 단점도 명확하다. PCIe를 건너는 순간 대역폭 상한이 정해지고, HBF가 노리는 TB/s 영역에는 절대 못 간다. 보도에 따르면 키옥시아는 별도로 TSV로 최대 32개 다이를 쌓아 GPU 버스에 붙이는 자체 고대역폭 플래시도 준비 중이고 엔비디아가 그 논의를 이끌고 있다고 하는데, 이건 아직 공식 발표 단계가 아니라 확정으로 읽으면 안 된다.

여기서 가장 어색한 그림이 나온다. 키옥시아와 샌디스크는 일본에서 낸드 팹을 공동 소유한다. 같은 웨이퍼 캐파를 나눠 쓰면서, 같은 신규 계층을 놓고 서로 다른 아키텍처를 미는 중이야. 팹은 하나인데 미래가 둘이다. 둘 중 하나가 크게 이기면 나머지 하나는 자기가 지분을 가진 공장에서 경쟁사의 승리를 도와주는 처지가 된다.

두 번째 반격은 엔비디아 쪽에서 이미 나와 있다. 루빈 CPX다. 이건 HBM을 아예 안 쓰고 GDDR7 128GB에 약 2TB/s 대역폭을 붙인 추론 전용 GPU 변종인데, 목적이 정확히 같다. 긴 컨텍스트 추론에서 용량이 부족한 문제를 푸는 것. 그런데 접근이 다르다. 새 메모리 계층을 발명하는 대신 이미 대량 양산되는 값싼 그래픽 메모리를 가져다 쓴다. 반도체 분석 업체 세미애널리시스는 GDDR7이 HBM 대비 비용 효율이 약 5배라고 봤다. 엔비디아가 HBF 컨소시엄에 없는 이유가 이걸로 상당 부분 설명된다. 자기 답이 이미 있고, 그 답은 새 표준을 기다릴 필요가 없거든.

세 번째 반격은 소프트웨어다. 사실 KV 캐시 문제를 푸는 가장 싼 방법은 새 하드웨어를 사는 게 아니라 캐시를 잘 관리하는 거야. 접두사 캐싱, 계층형 KV 캐시 오프로드, 페이지드 어텐션 계열 기법들이 지난 2년 사이 급격히 성숙했고, 호스트 D램과 일반 NVMe로 상당 부분을 흡수한다. 새 메모리 계층을 도입하려면 서버 설계를 바꿔야 하지만 추론 엔진을 업그레이드하는 건 배포 한 번이면 끝난다. HBF가 이 소프트웨어 계층 대비 얼마나 더 나은지를 증명하지 못하면, "있으면 좋지만 없어도 되는" 물건이 될 위험이 있다.

네 번째는 삼성과 마이크론의 침묵 그 자체다. 낸드 상위 5개 회사 중 두 곳이 규격에 없다는 건, HBF가 진짜 산업 표준이 되려면 아직 갈 길이 멀다는 뜻이다. 반도체 표준 싸움에서 "먼저 낸 쪽"이 이기는 경우도 있지만, "가장 많은 물량을 가진 쪽"이 나중에 들어와서 판을 뒤집는 경우도 흔하다. 삼성이 지금 zHBM과 zNAND-O로 자기 길을 가는 게 이 판을 무시하는 건지, 아니면 HBF가 되는 걸 보고 나중에 합류할 준비를 하는 건지는 아직 알 수 없다. 참고로 반도체 업계 포럼에서는 삼성이 결국 HBF 경쟁에 뛰어들 거라는 관측도 돌지만, 회사가 확인한 사안은 아니다.

그래서 뭐가 달라지는데

AI 인프라를 실제로 운영하는 엔지니어라면 지금 확인할 게 하나 있다. 지금 너희 추론 스택에서 GPU 메모리를 실제로 뭐가 먹고 있는지를 분해해봐라. 모델 가중치, KV 캐시, 활성화값, 이 셋의 비율이 어떻게 되는지. KV 캐시 비중이 절반을 넘어가고 있다면 앞으로 2~3년 안에 나올 하드웨어 선택지들이 너희한테 직접적으로 유의미해진다. 반대로 가중치가 대부분이고 컨텍스트가 짧은 워크로드라면 HBF든 CPX든 급하지 않다. 이 진단을 안 하고 있으면 벤더 마케팅에 휘둘리기 쉬워.

기업 의사결정자 관점에서는 시점 판단이 핵심이다. HBF는 규격이 방금 v0.7.0으로 나왔고, 샘플이 2026년, 양산이 2027년 목표다. 스토리지리뷰가 쓴 표현을 빌리면 "누가 프로덕션 시스템을 출하하기 전에 실험실에서 HBF 하드웨어를 먼저 보고 싶다"는 게 현재 업계의 온도다. 즉 지금 이걸 근거로 2026년 조달 계획을 바꾸는 건 이르다. 다만 2027~2028년 데이터센터 설계를 지금 그리고 있다면, 가속기 벤더에게 "UCIe 기반 용량 계층에 대한 로드맵이 있느냐"를 물어볼 근거는 생겼다. 그 질문 하나만으로도 벤더 대화의 결이 달라진다.

투자자 관점에서는 두 가지 신호를 구분해서 읽어야 한다. 하나는 단기 신호다. SK하이닉스가 영업이익률 76%를 찍는 건 HBM 때문이지 HBF 때문이 아니고, 이번 발표가 향후 4~6분기 실적에 미치는 영향은 사실상 0이다. HBF 관련 매출은 아직 존재하지 않는다. 다른 하나는 구조 신호다. 낸드 사업의 성격이 바뀔 수 있는 경로가 열렸다는 것. 지금까지 낸드는 사이클 산업이었고 그래서 밸류에이션 배수가 낮았다. 낸드 다이가 AI 가속기 부품으로 재분류되면 그 배수 논리가 바뀐다. 이 전환이 실제로 일어날지는 2027년 양산 물량과 첫 고객이 누구인지를 보고 판단하는 게 맞다. 지금은 옵션의 존재만 확인된 상태야.

그리고 조금 덜 이야기되는 각도가 하나 있다. 메모리 가격이다. 2026년 들어 D램과 낸드 계약가가 분기당 두 자릿수, 어떤 분기엔 세 자릿수로 뛰었다. 이건 게이밍 PC 사는 사람부터 스마트폰 제조사까지 다 맞는 유탄이야. HBF나 zHBM 같은 기술이 의미 있는 이유 중 하나는, 성공하면 HBM 캐파를 덜 잡아먹으면서 추론 용량을 늘릴 수 있다는 데 있다. HBM 웨이퍼 하나가 일반 D램 여러 장 분량의 캐파를 먹으니까. 물론 이건 몇 년 뒤 이야기고, 당장 내년 램값에는 아무 영향이 없다.

마지막으로 일반 사용자한테. 직접 체감할 변화는 없다. 다만 간접적으로는 하나 있어. 요즘 AI 서비스들이 "컨텍스트 100만 토큰"을 광고하면서도 실제로는 긴 대화에서 앞부분을 잊거나, 긴 문서를 넣으면 요금이 폭증하는 이유가 대부분 이 메모리 경제학 때문이다. 컨텍스트를 길게 유지하는 비용이 KV 캐시 용량 비용이거든. 그 비용 곡선이 꺾이면 "기억력 좋은 AI"가 싸진다. 지금 이 무대에서 벌어지는 일이 결국 그 곡선을 어디로 밀지에 대한 싸움이다.

한 문장으로 정리하면 이렇다. 지난 3년간 AI 하드웨어 경쟁은 "연산을 얼마나 빨리 하느냐"였는데, 2026년 산타클라라의 이 무대는 그 질문이 **"데이터를 연산 옆에 얼마나 싸게 놓아두느냐"**로 옮겨갔다는 걸 보여줬다. 삼성은 램을 가속기 위로 올려서 답하려 하고, SK하이닉스는 낸드를 가속기 옆으로 붙여서 답하려 한다. 둘 다 맞을 수도 있고, 둘 다 HMC와 옵테인 옆에 묻힐 수도 있다.

🥄 남은 궁금증 세 가지

— 그래서 나랑 무슨 상관이야? 당장은 없어. 다만 AI 서비스를 만들거나 운영하고 있다면 2027~2028년 인프라 선택지가 지금보다 넓어질 가능성이 생긴 거고, 그 전에 KV 캐시 비중부터 재보는 게 순서야. 일반 사용자라면 "긴 컨텍스트가 싸지는 시점"이 언제 오느냐에 간접적으로 영향을 받는다.

— 이게 왜 하필 지금이야? 추론이 학습을 제치고 메모리 수요의 주역이 됐기 때문이야. 학습은 가중치 크기가 고정이라 계산이 쉽지만, 추론은 동시 접속자 수 × 대화 길이만큼 KV 캐시가 선형으로 늘어난다. 여기에 2026년 들어 D램 계약가가 분기 90% 넘게 뛰면서 "HBM으로 다 해결한다"는 선택지가 경제적으로 무너졌어. 빈 계층을 채울 이유가 기술이 아니라 가격에서 나온 거야.

— HBF가 zHBM보다 앞선 거야? 비교 대상이 아니야. HBF는 공개된 표준 규격이 있고 375단 낸드라는 실물이 있는 반면, zHBM은 양산 시점도 고객도 안 밝힌 콘셉트 모델이다. 그런 의미에서 구체성은 HBF가 앞선다. 다만 HBF는 삼성·마이크론·키옥시아·엔비디아가 전부 빠진 규격이고, 표준 싸움에서 그 공백은 HMC가 어떻게 죽었는지를 떠올리게 한다. 어느 쪽이 이길지는 2027년 첫 양산 물량과 첫 고객을 봐야 알 수 있어서 단정하긴 일러.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.