500.6GB를 117.8GB로

7월 27일, 국내 모델 경량화 기업 **노타(Nota)**가 업스테이지의 2차 독자 AI 파운데이션 모델 '솔라 오픈2(Solar Open 2)' 전용 경량화 모델을 공개했어. 숫자 하나로 요약하면 이래.

가중치 메모리 500.6GB → 117.8GB. 76.5% 감소. H100 8장이 필요하던 구동이 2장으로.

이게 왜 중요한지는 GPU 가격을 떠올리면 바로 이해돼. H100 8장짜리 서버 한 대는 억 단위야. 대부분의 국내 기업에게 "우리도 국산 파운데이션 모델을 자체 서버에서 돌려보자"는 말은 장비 견적서를 받는 순간 끝나는 이야기였어. 그 견적이 4분의 1이 되면 결정이 달라져.

그리고 이번 발표의 진짜 포인트는 감축률이 아니야. 줄이면서 에이전트 기능을 살렸다는 부분이야. 노타는 툴 호출(tool calling) 같은 에이전트 핵심 기능의 성능이 안정적으로 유지됐다고 밝혔어. 모델을 반으로 접으면 대개 가장 먼저 무너지는 게 이 능력이거든.

이 판에 서 있는 두 회사

업스테이지는 국내 대표 LLM 기업이고, 솔라 시리즈로 알려져 있어. 이번 솔라 오픈2는 정부가 추진하는 '독자 AI 파운데이션 모델'(줄여서 독파모) 사업의 2차 결과물이야. 국가 예산으로 국산 대형 모델을 만들자는 프로젝트인데, 업스테이지가 그 축 하나를 맡고 있어.

솔라 오픈2의 설계 방향이 흥미로워. 벤치마크 점수가 아니라 '일하는 AI'를 표방했어. 단발성 질의응답이 아니라, 여러 번 추론하고 도구를 호출하며 과제를 끝내는 에이전트 환경을 겨냥해 만들었다는 거지. 구조는 **총 2,500억 파라미터 중 실제 추론에는 150억만 활성화하는 MoE(Mixture of Experts)**야. 최대 100만 토큰 길이의 입력을 다룰 수 있고, 모델 가중치와 기술 리포트를 허깅페이스에 전면 공개했어.

노타는 좀 다른 종류의 회사야. 모델을 만드는 게 아니라 남이 만든 모델을 실제 하드웨어에서 돌아가게 압축하는 일을 해. 원래는 엣지 디바이스용 비전 모델 경량화로 이름을 알렸고, 지금은 대형 언어 모델 쪽으로 영역을 넓혔어. 이번 작업도 독파모 사업의 일환으로 업스테이지와 함께 진행됐어.

이 조합이 의미하는 바가 있어. 모델을 만드는 것과 모델을 쓸 수 있게 만드는 것이 별개의 산업으로 분화하고 있다는 거야. 예전에는 모델 만든 팀이 배포까지 알아서 했는데, 모델이 수천억 파라미터 규모가 되면서 압축·양자화가 독립된 전문 영역이 됐어.

무슨 기술이 들어갔나

노타가 공개한 최적화 기법은 네 가지야. 하나씩 뜯어볼게.

기법 하는 일
데이터 기반 MoE 양자화 (PASCAL-MoE) 실제 데이터 분포를 보고 전문가별로 양자화 강도를 조정
라우터 인지 MoE 양자화 어떤 전문가가 자주 호출되는지를 고려해 정밀도를 차등 배분
비균일 전역 프루닝 레이어마다 다른 비율로 가중치를 제거
4비트 양자화 (INT4 / NVFP4) 가중치를 4비트로 표현해 메모리를 근본적으로 축소

MoE 모델의 압축이 왜 까다로운지부터 설명할게. MoE는 여러 '전문가(expert)' 네트워크를 두고, 입력마다 라우터가 그중 일부만 골라 쓰는 구조야. 솔라 오픈2가 2,500억 파라미터 중 150억만 활성화한다는 게 이 뜻이지. 계산량은 적게 쓰면서 지식 용량은 크게 가져가는 영리한 설계야.

문제는 메모리야. 계산에는 150억만 쓰지만, 어떤 전문가가 호출될지 모르니 2,500억 개 전부를 메모리에 올려둬야 해. 그래서 MoE 모델은 "연산은 가벼운데 메모리는 무거운" 이상한 특성을 가져. 500.6GB라는 숫자가 여기서 나와.

그리고 전문가들이 다 똑같이 중요하지도 않아. 어떤 전문가는 거의 매번 호출되고, 어떤 전문가는 특정 도메인에서만 쓰여. 모든 전문가를 똑같이 4비트로 눌러버리면 자주 쓰이는 전문가에서 손실이 크게 나. 노타가 '라우터 인지' 양자화를 쓴 이유가 이거야. 라우터의 호출 통계를 보고 자주 쓰이는 전문가에는 정밀도를 더 주고, 드물게 쓰이는 쪽은 세게 압축하는 거지.

PASCAL-MoE로 명명된 데이터 기반 양자화도 같은 맥락이야. 가중치 숫자만 보고 자르는 게 아니라, 실제 데이터를 흘려보내 어떤 값이 결과에 크게 기여하는지 측정한 다음 그 정보로 양자화 방식을 정해. 계산 비용은 더 들지만 품질 손실이 훨씬 적어.

4비트 포맷 선택도 짚을 만해. INT4와 함께 NVFP4가 언급됐는데, 이건 엔비디아의 최신 세대 하드웨어가 지원하는 4비트 부동소수점 포맷이야. 하드웨어가 직접 지원하는 포맷을 쓰면 소프트웨어로 흉내 낼 때보다 속도가 훨씬 잘 나와. 모델 구조와 하드웨어 환경을 같이 보고 최적화한다는 게 노타 CTO 김태호의 설명이었어.

"이번 성과는 대규모 MoE 모델을 기업이 실제로 배포할 수 있는 형태로 최적화했음을 보여준다."

비균일 전역 프루닝도 같은 철학이야. 프루닝은 중요도가 낮은 가중치를 아예 0으로 만들어 없애는 기법인데, 보통은 모델 전체에 같은 비율을 적용해. 그런데 실제로는 레이어마다 중요도가 달라. 입력에 가까운 초기 레이어와 출력 직전 레이어는 손대면 손실이 크고, 중간층은 여유가 있는 경우가 많아. 레이어별로 제거 비율을 다르게 가져가면 같은 압축률에서 품질이 더 잘 버텨. '전역(global)'이라는 표현이 붙은 건 레이어를 개별적으로 보지 않고 모델 전체 관점에서 예산을 배분한다는 뜻이야.

정리하면 노타의 접근법에는 하나의 일관된 원칙이 있어. 균일하게 자르지 않는다는 것. 전문가별로, 레이어별로, 데이터가 알려주는 중요도에 따라 압축 강도를 다르게 준다는 거지. 압축률 숫자 자체보다 이 설계 원칙이 재현 가능한 자산에 가까워.

한 가지 유보할 점. 정확도 손실이 정확히 얼마인지는 공개되지 않았어. "툴 호출 등 에이전트 핵심 기능 성능이 안정적으로 유지됐다"는 정성적 서술은 있지만, 벤치마크 점수 비교표는 발표에 없어. 경량화 모델을 도입하려는 쪽이라면 이 수치를 별도로 확인해야 해.

각자 뭘 얻나

업스테이지가 얻는 것은 배포 가능성이야. 오픈웨이트 모델을 공개해도 돌릴 수 있는 사람이 없으면 다운로드 숫자만 남아. H100 8장을 갖춘 조직은 국내에 많지 않거든. 2장으로 내려오면 대상 고객이 몇 배로 늘어나. 소버린 AI 모델의 성패는 "만들었느냐"가 아니라 "몇 곳이 실제로 쓰느냐"로 갈리는데, 이번 경량화는 그 분모를 키우는 작업이야.

노타가 얻는 것은 레퍼런스야. 모델 경량화는 성과를 설명하기 어려운 사업이야. "우리가 압축 잘합니다"라는 말은 검증이 안 되거든. 그런데 국가 프로젝트로 만든 2,500억 파라미터 모델을 76.5% 줄였다는 건 구체적이고 검증 가능한 실적이야. 앞으로 다른 대형 모델 압축 수주에서 이 사례가 계속 인용될 거야.

기업 사용자가 얻는 것은 선택지야. 지금 국내 기업이 LLM을 도입할 때 경로는 대체로 세 가지야. 해외 API를 쓰거나, 국산 클라우드 서비스를 쓰거나, 소형 오픈모델을 자체 구동하거나. 첫 번째는 데이터를 밖으로 내보내야 하고, 세 번째는 성능이 아쉬웠어. 2,500억 파라미터급 모델을 H100 2장으로 사내에서 돌린다는 건 이 삼각형에 없던 네 번째 선택지야. 금융·의료·공공처럼 데이터 반출이 어려운 영역에서 특히 의미가 커.

정부 사업 관점에서의 의미도 있어. 독파모 사업의 성과 지표는 지금까지 대체로 모델 자체의 성능과 공개 여부에 맞춰져 있었어. 그런데 이번 경량화는 **"만든 모델이 실제로 쓰이는가"**라는 다른 지표를 향해. 국가 예산으로 만든 모델이 허깅페이스 다운로드 수만 남기고 끝나는 건 누구도 원하지 않는 결과잖아. 모델 개발사와 경량화 전문사를 같은 사업 안에 묶은 구성은 그 위험을 줄이려는 설계로 읽혀.

그런데 냉정하게 볼 지점도 있어. H100 2장도 여전히 싸지 않아. 대당 수천만 원이고, 서버·전력·냉각까지 하면 중소기업이 가볍게 결정할 규모는 아니야. "8장에서 2장으로"는 극적인 개선이지만 "누구나 쓸 수 있다"와는 거리가 있어. 그리고 압축 모델은 원본과 완전히 같은 모델이 아니야. 발표에서 강조한 툴 호출 외의 영역, 예컨대 긴 문맥에서의 추론 일관성이나 한국어 미묘한 표현 처리에서 어떤 차이가 나는지는 아직 공개 데이터가 없어.

과거에 이런 경량화는 어떻게 됐나

모델 압축은 이제 성숙한 분야이고, 성공과 실패의 패턴이 꽤 분명해.

성공 사례의 원형은 4비트 양자화의 확산 그 자체야. 몇 년 전만 해도 대형 언어 모델을 개인 장비에서 돌린다는 건 상상하기 어려웠어. 그런데 GPTQ, AWQ 같은 양자화 기법과 llama.cpp 같은 런타임이 등장하면서 노트북에서 수십억 파라미터 모델이 도는 세계가 열렸지. 핵심은 품질 손실이 생각보다 작았다는 거야. 4비트로 눌러도 실사용에서 체감 차이가 크지 않다는 게 반복적으로 확인되면서 표준 관행이 됐어.

반대로 실패하는 패턴도 뚜렷해. 압축률만 앞세우고 특정 능력이 무너지는 경우야. 특히 긴 문맥 추론, 코드 생성, 도구 호출은 양자화에 민감한 영역으로 알려져 있어. 이유는 이 작업들이 긴 연쇄 안에서 작은 오차가 누적되는 구조이기 때문이야. 한 토큰의 미세한 편차가 다음 판단을 바꾸고, 그게 열 단계 뒤에는 완전히 다른 결과로 벌어져. 노타가 굳이 "툴 호출 성능이 유지됐다"를 앞세운 건 이 약점을 알고 있다는 뜻이야.

그리고 MoE 압축은 상대적으로 새로운 전선이야. 밀집(dense) 모델 양자화는 연구가 두텁게 쌓였지만, MoE는 전문가별 중요도 편차와 라우터 동작이라는 변수가 추가돼서 기존 기법을 그대로 적용하기 어려워. 노타가 '라우터 인지'와 'PASCAL-MoE'를 별도로 명명한 것도 이 지점에 손을 댔다는 표시야. 주요 오픈모델이 MoE로 넘어가는 흐름을 감안하면, MoE 전용 압축은 앞으로 계속 커질 시장이야.

한 가지 더. 업스테이지 발표에 따르면 솔라 오픈2는 양자화하면 H200 2장으로 구동 가능하다고 돼 있었어. 노타의 결과는 H100 2장이야. H200이 H100보다 메모리가 큰 세대라는 걸 감안하면, 노타 쪽이 더 압축을 밀어붙였다는 의미가 돼.

압축이 왜 성능 향상으로도 이어지는지도 짚어둘 만해. 메모리를 줄이면 단순히 장비 대수만 주는 게 아니야. 대형 언어 모델의 추론은 대부분 메모리 대역폭에 묶여 있어. 계산 유닛은 놀고 있는데 가중치를 메모리에서 읽어오는 속도가 병목이 되는 상황이 흔하거든. 가중치가 4분의 1로 줄면 읽어올 데이터도 4분의 1이 돼서 토큰 생성 속도가 같이 빨라져. 그리고 GPU가 8장에서 2장으로 줄면 카드 간 통신 오버헤드도 사라져. 압축은 비용 절감 기술로 소개되지만, 실제로는 지연 시간 개선 기술이기도 해. 에이전트처럼 여러 번 왕복하는 워크로드에서는 이 차이가 특히 크게 체감돼.

경쟁자들은 어떻게 받아칠까

해외 상용 API 진영은 이 흐름을 크게 신경 쓰지 않을 거야. 이들의 논리는 "압축하고 서버 관리하느니 API 쓰는 게 싸다"는 거고, 대부분의 워크로드에서 그건 사실이야. 다만 데이터를 밖으로 못 내보내는 고객층에는 이 논리가 안 통해. 그래서 온프레미스 배포 옵션을 늘리는 방향으로 움직이고 있어.

다른 국산 모델 진영도 같은 과제를 안고 있어. 독파모 사업에는 여러 기업이 참여하고 있고, 각자 만든 모델을 어떻게 실제로 쓰이게 할지가 공통 숙제야. 이번 노타-업스테이지 조합이 성과를 내면, 다른 팀들도 경량화 파트너를 붙이는 방향으로 갈 가능성이 높아.

중국발 오픈모델이 가장 현실적인 경쟁자야. 문샷의 Kimi K3 같은 모델이 성능과 가격 양쪽에서 판을 흔들고 있고, 이들도 MoE 구조에 공격적인 양자화 버전을 함께 내놓는 경우가 많아. 국산 모델의 차별점은 성능 수치보다 한국어 처리와 데이터 주권에서 나와야 하는데, 그 차이가 사용자에게 체감될 만큼 벌어지느냐가 관건이야.

엔비디아의 위치도 흥미로워. 경량화는 표면적으로 GPU를 덜 팔리게 만드는 기술처럼 보이지만 실제로는 반대야. 8장을 못 사서 도입을 포기하던 조직이 2장을 사기 시작하면 고객 수가 늘어. 게다가 NVFP4처럼 자사 하드웨어에서만 제대로 도는 포맷이 표준으로 자리 잡으면 락인은 더 강해져. 노타가 NVFP4를 명시한 건 기술적 선택이면서 동시에 생태계 선택이기도 해.

추론 최적화 프레임워크 진영도 봐야 해. vLLM, SGLang 같은 오픈소스 서빙 엔진이 양자화 지원을 계속 강화하고 있어서, "일반 도구로도 충분히 압축된다"는 상황이 오면 전문 경량화 기업의 자리가 좁아져. 노타 같은 회사가 방어할 지점은 모델 구조별 맞춤 최적화야. 이번에 MoE 전용 기법을 명명해서 내놓은 건 정확히 그 방향의 포지셔닝이야.

그래서 뭐가 달라지는데

사내에 LLM을 올리려는 팀이라면, 견적을 다시 짜볼 시점이야. H100 2장 구성은 8장 구성과 완전히 다른 결재 라인이야. 다만 도입 전에 반드시 확인할 게 있어. 원본 대비 정확도 손실 데이터야. 발표에는 툴 호출 안정성만 정성적으로 언급됐고 벤치마크 비교는 없었어. 자사 업무에 가까운 태스크로 직접 A/B를 돌려보는 게 안전해.

모델을 서빙해본 적이 있다면, 실무적으로 체크할 항목은 양자화 포맷과 런타임의 궁합이야. INT4와 NVFP4는 지원하는 하드웨어와 커널이 달라서, 같은 압축률이라도 실제 처리량은 크게 갈려. 보유 GPU 세대가 어떤 포맷을 네이티브로 지원하는지 먼저 확인하고 나서 압축 전략을 정하는 게 순서야. 이걸 거꾸로 하면 압축은 했는데 속도가 안 나오는 상황을 만나게 돼.

엔지니어라면, 이번 사례에서 배울 건 라우터 통계를 최적화에 쓴다는 발상이야. MoE 모델을 다루고 있다면, 어떤 전문가가 실제로 얼마나 호출되는지 로깅해두는 것만으로도 압축·캐싱 전략의 재료가 생겨. 균일하게 처리하는 것보다 훨씬 효율이 좋아.

스타트업을 하고 있다면, 국산 오픈웨이트 모델을 자체 구동하는 선택지가 현실권에 들어왔다는 게 실질적 변화야. 해외 API는 사용량이 늘수록 비용이 선형으로 늘지만, 자체 구동은 초기 투자 후 한계비용이 급격히 낮아져. 트래픽이 일정 수준을 넘는 서비스라면 손익분기점을 다시 계산해볼 만해. 물론 운영 인력이라는 숨은 비용도 함께 계산해야 하고.

AI 정책을 보는 쪽이라면, 이번 건은 소버린 AI 논의에서 자주 빠지는 부분을 짚어. 모델을 만드는 예산은 논의되는데, 만든 모델을 돌릴 인프라 비용은 잘 논의되지 않아. 아무리 좋은 국산 모델이 나와도 구동 비용이 감당 안 되면 결국 해외 API로 돌아가게 돼. 경량화는 그래서 부수적 기술이 아니라 소버린 AI의 성립 조건에 가까워.

투자자라면, 모델 최적화 영역이 독립 시장으로 자리 잡고 있다는 신호로 읽을 수 있어. 다만 이 시장의 리스크는 명확해. 오픈소스 서빙 프레임워크가 같은 기능을 흡수하면 전문 업체의 마진이 압박받아. 차별화가 유지되는지를 계속 봐야 해.

그냥 뉴스로 보는 사람이라면, 기억할 문장은 이거야. AI 경쟁의 다음 라운드는 더 큰 모델이 아니라, 만든 모델을 어디까지 작게 만들 수 있느냐야. 성능이 상향 평준화될수록 승부는 같은 성능을 얼마나 싸게 돌리느냐로 옮겨가.

🥄 남은 궁금증 세 가지

— 76.5% 줄였는데 성능은 그대로야? 그대로라고 말하긴 어려워. 발표에서 확인된 건 "툴 호출 등 에이전트 핵심 기능이 안정적으로 유지됐다"는 정성적 서술이고, 원본 대비 벤치마크 비교표는 공개되지 않았어. 4비트 양자화는 일반적으로 체감 손실이 작은 편이지만, 긴 문맥 추론처럼 오차가 누적되는 작업에서는 차이가 날 수 있어. 도입한다면 자사 태스크로 직접 재보는 게 맞아.

— 그래서 우리 회사도 국산 모델 돌릴 수 있는 거야? H100 2장을 감당할 수 있다면. 대당 수천만 원에 서버·전력·냉각이 붙으니 여전히 작은 결정은 아니야. 다만 8장에서 2장은 "불가능"에서 "검토 가능"으로 넘어가는 차이야. 데이터를 밖으로 못 내보내는 업종이라면 특히 계산해볼 가치가 있어.

— MoE가 뭐가 그렇게 특별해? 계산은 일부만 쓰는데 메모리는 전부 써야 한다는 게 핵심이야. 2,500억 개 중 150억 개만 굴리니 속도는 빠른데, 어떤 전문가가 불릴지 모르니 2,500억 개를 다 올려둬야 해. 그래서 MoE는 "빠른데 메모리 먹는" 모델이고, 압축의 효과가 특히 크게 나는 구조이기도 해. 이번 작업이 노린 지점이 정확히 여기야.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.