DeepSeek V4, 1조 파라미터로 오픈소스 AI의 천장을 또 깨부쉈다

1조 개의 파라미터, 37B만 켜서 돌린다

1,000,000,000,000. 1조야. DeepSeek V4의 총 파라미터 수. 그런데 실제로 토큰 하나를 처리할 때 활성화되는 건 약 370억 개뿐이야. 전체의 3.7%만 쓰는 거지. 이게 가능한 이유가 MoE(Mixture of Experts, 전문가 혼합) 아키텍처야. 필요한 전문가 네트워크만 골라서 활성화하니까 1조 규모의 지식을 370억 규모의 비용으로 쓸 수 있어.

이건 단순한 숫자 게임이 아니야.

오픈소스 모델이 프론티어 수준에 도달할 수 있다는 증명이야.

---

이걸 이해하려면 – DeepSeek의 질주

DeepSeek는 중국 헤지펀드 High-Flyer의 AI 연구소에서 시작했어. 대부분의 중국 AI 회사들이 미국 모델을 따라가는 데 집중할 때, DeepSeek는 독자적인 아키텍처 혁신으로 차별화를 선택했지.

2024년 초 DeepSeek V2가 나왔을 때, 업계는 놀랐어. Multi-head Latent Attention이라는 새로운 어텐션 메커니즘(모델이 입력의 어느 부분에 집중할지 결정하는 구조)으로 추론 비용을 획기적으로 줄였거든. 그 다음이 DeepSeek V3. 6,710억 파라미터 MoE로 GPT-4 급 성능을 달성하면서 "중국에서도 프론티어 모델이 나올 수 있다"는 걸 보여줬어.

V3.2에서는 아키텍처를 더 다듬었고, 이제 V4에서 1조 규모로 점프한 거야. 불과 2년 만에 파라미터 규모가 10배 이상 커진 셈이야.

모델	출시 시기	총 파라미터	활성 파라미터	핵심 혁신
DeepSeek V2	2024 초	236B	21B	Multi-head Latent Attention
DeepSeek V3	2024 말	671B	37B	DeepSeekMoE + FP8 학습
DeepSeek V3.2	2025	671B+	37B	개선된 추론 능력
DeepSeek V4	2026 초	1T	37B	mHC + Engram Memory

주목할 점은 활성 파라미터가 V3부터 37B로 거의 동일하다는 거야. 총 규모는 1.5배 커졌지만, 추론 비용은 비슷하게 유지한다는 의미야. 이건 엄청난 효율성 개선이야.

핵심 내용 해부 – V4의 세 가지 기술적 돌파구

Manifold-Constrained Hyper-Connections (mHC)

1조 파라미터 규모에서 모델을 안정적으로 학습시키는 건 악명 높은 난제야. 파라미터가 많아질수록 학습 과정에서 그래디언트(기울기, 모델이 배우는 방향)가 폭발하거나 사라지는 문제가 심해지거든.

DeepSeek의 해법이 mHC야. 수학적으로 안정된 매니폴드(고차원 공간의 구조) 위에서 연결을 제한하는 방식으로, 1조 규모에서도 학습이 발산하지 않도록 만들어. 이건 단순한 엔지니어링 트릭이 아니라 이론적 기반이 있는 아키텍처 혁신이야.

Engram Conditional Memory

100만 토큰이 넘는 초장문 컨텍스트에서 효율적으로 정보를 검색하는 메커니즘이야. 기존 어텐션은 컨텍스트가 길어질수록 계산 비용이 제곱으로 증가하는 문제가 있었어. Engram Memory는 핵심 정보를 압축된 "엔그램"으로 저장하고, 필요할 때만 꺼내 쓰는 방식으로 이 문제를 우회해.

Lightning Indexer가 달린 Sparse Attention

DeepSeek의 기존 Sparse Attention(희소 어텐션, 모든 토큰이 아니라 관련 있는 토큰끼리만 연결하는 방식) 시스템에 Lightning Indexer를 추가했어. 이전보다 빠르게 관련 토큰을 찾아내서, 장문맥 처리 속도를 크게 끌어올렸다고 해.

---

더 넓은 그림 – 칩 전쟁과 오픈소스의 미래

V4에서 가장 지정학적으로 중요한 건 화웨이 Ascend 칩 최적화야. 미국의 대중국 반도체 수출 규제로 Nvidia의 최신 GPU(H100, B200 등)를 합법적으로 구하기 어려운 상황에서, DeepSeek는 중국산 칩으로도 프론티어 AI를 만들 수 있다는 걸 증명한 거야.

Financial Times와 Reuters 보도에 따르면, V4는 특히 코딩과 장문맥 소프트웨어 엔지니어링 작업에 최적화되어 있어. 내부 테스트에서 Claude와 ChatGPT의 장문맥 코딩 벤치마크를 능가할 가능성이 보고됐어.

오픈소스 라이선스로 공개될 예정이라는 점도 핵심이야. 12개월 전만 해도 글로벌 상위 5위권 모델은 전부 폐쇄형이었어. 지금은 DeepSeek V4, Qwen 3.5, Mistral 3, Llama 4까지 오픈소스 진영에서 프론티어급 모델이 쏟아지고 있어. 격차가 빠르게 좁혀지고 있는 거야.

모델	파라미터	라이선스	강점
GPT-5.4	비공개	폐쇄형	컴퓨터 사용, 범용
Claude Sonnet 4	비공개	폐쇄형	코딩, 안전성
DeepSeek V4	1T (37B 활성)	오픈소스	장문맥 코딩, 효율성
Llama 4 Scout	MoE	오픈	10M 토큰 컨텍스트
Qwen 3.5	0.8B–9B	Apache 2.0	멀티모달, 경량

그래서 뭐가 달라지는데

개발자에게 가장 실질적인 의미는 이거야. 1조 파라미터급 모델을 API 비용 없이 자체 서버에서 돌릴 수 있게 된다는 것. 활성 파라미터가 37B니까, 고사양 GPU 서버 한 대면 추론이 가능해. 엔터프라이즈 환경에서 데이터를 외부로 보내지 않고도 프론티어급 AI를 쓸 수 있다는 거야.

코딩 분야 개발자라면 더 주목해야 해. V4가 장문맥 코딩에 특화되어 있다는 건, 대규모 코드베이스 전체를 컨텍스트에 넣고 작업할 수 있다는 의미야. 100만 토큰이면 대략 75만 단어, 일반적인 프로젝트의 전체 소스코드를 한 번에 처리할 수 있는 규모야.

오픈소스 AI의 천장은 없어. 12개월 전에는 상상도 못 했던 규모의 모델을 이제 누구나 다운로드해서 쓸 수 있어.

화웨이 칩 최적화가 성공적이라면, 이건 AI 산업의 지정학적 지형도 바꿀 수 있어. 미국의 칩 수출 규제가 중국 AI를 봉쇄하겠다는 전략이었는데, DeepSeek가 우회로를 뚫어버린 셈이니까.

참고 자료

• DeepSeek V4: Everything We Know – NxCode
• DeepSeek V4: China's Trillion-Parameter Multimodal AI Rival – AI2Work
• DeepSeek V4: Trillion-Parameter Open-Source AI – Digital Applied
• DeepSeek V4 Review – Cybernews