모델을 바꾸지 않고 정확도를 올렸다는 주장

8월 19일 파인콘이 '넥서스'라는 제품을 정식 출시(GA)했어. 회사가 붙인 이름은 지식 엔진(knowledge engine)이고, 하는 일은 기업의 문서와 업무 절차를 미리 구조화된 지식 계층으로 컴파일해서 에이전트가 한 번의 호출로 가져다 쓰게 만드는 거야.

이 발표에서 사람들이 반응한 건 제품 설명이 아니라 벤치마크 숫자였어. 시에라(Sierra)가 공개한 엔터프라이즈 지식 벤치마크 τ-Knowledge에서, 넥서스를 지식 계층으로 붙인 에이전트가 **47.4%**로 최고 점수를 기록했다는 거야. 이 벤치마크의 리더보드에서 프론티어 모델 최고 성적은 GPT-5.5의 **46.4%**였어.

숫자 차이만 보면 1%포인트야. 별거 아닌 것처럼 들리지. 그런데 파인콘이 함께 내놓은 두 번째 숫자가 이야기를 바꿔. 작업당 비용 77% 절감. 같은 정확도 근처에서 비용이 4분의 1 수준으로 내려갔다는 뜻이야. 그리고 세 번째 숫자가 이유를 설명해줘. 모델 호출이 약 50% 줄었고, 도구 호출도 약 50% 줄었어.

여기서 파인콘이 말하려는 논지가 드러나. 에이전트가 기업 업무에서 헤매는 이유는 모델이 멍청해서가 아니라, 매번 원본 문서에서 맥락을 다시 조립하느라 호출을 낭비하기 때문이라는 거야. 파인콘의 표현을 그대로 옮기면, 모델 자체는 충분한 추론 능력을 갖고 있고 부족한 건 저렴하게 접근할 수 있는 기반 지식이라는 거지.

τ-Knowledge와 시에라, 그리고 파인콘

시에라는 브렛 테일러가 세운 AI 에이전트 회사야. 고객 응대 에이전트를 기업에 공급하면서, 에이전트 성능을 재는 벤치마크를 오픈소스로 공개해왔어. τ-bench 계열이 그거고, τ-Knowledge는 그중에서도 다단계 추론과 엄격한 정책 준수, 여러 도구의 조율된 사용을 동시에 요구하는 가장 까다로운 축이야.

이 벤치마크가 중요한 이유는 측정 대상이 '지식 문제'라는 데 있어. 일반 벤치마크는 모델이 학습 과정에서 흡수한 지식을 얼마나 잘 꺼내는지를 보는데, τ-Knowledge는 모델이 모르는 회사 고유의 정책과 절차를 주고 그걸 정확히 따르는지를 봐. 실제 기업 배포에서 에이전트가 실패하는 지점이 정확히 여기거든. 모델은 똑똑한데 우리 회사 환불 규정을 몰라서 틀린 답을 하는 상황.

파인콘은 벡터 데이터베이스로 알려진 회사야. RAG(검색 증강 생성)가 유행하면서 임베딩을 저장하고 유사도 검색을 해주는 인프라로 자리를 잡았지. 그런데 넥서스는 그 포지션에서 한 단계 위로 올라가려는 시도야. 청크를 저장하고 검색해주는 게 아니라, 지식을 미리 구조화해서 답할 준비가 된 상태로 만들어두는 쪽이야.

이 차이가 왜 중요하냐면, 순수 벡터 검색 기반 RAG의 한계가 그동안 반복적으로 지적돼 왔기 때문이야. 유사도 상위 청크를 몇 개 던져주면 모델이 알아서 조립하라는 방식은, 답이 여러 문서에 흩어져 있거나 절차적 순서를 따라야 할 때 잘 작동하지 않아. 에이전트는 그럴 때 검색을 반복하고, 그게 도구 호출 폭증과 비용 증가로 이어져.

넥서스가 실제로 하는 일

파인콘이 밝힌 구성 요소는 셋이야.

매니페스트(Manifest) — 도메인 전문가가 엔티티와 관계, 답변의 형태를 정의하는 층이야. "우리 회사에서 '계약'이란 이런 필드를 가진 것이고, '갱신'은 이런 관계로 연결된다"를 사람이 먼저 적어주는 거지. 순수 자동 파이프라인이 아니라 사람의 도메인 지식을 앞단에 넣는 설계야.

컴파일된 지식 계층 — 원본 문서를 구조화된 요약, 추출된 사실, 엔티티-관계 그래프로 미리 변환해둔 결과물이야. 질의가 들어올 때마다 문서를 다시 읽는 게 아니라, 이미 정리된 형태에서 답을 꺼내. 퍼블릭 프리뷰 기간에 350만 개의 소스 청크가 26,000개의 구조화된 지식 아티팩트로 압축됐다고 밝혔어. 비율로 보면 약 135대 1이야.

노우QL(KnowQL) — 에이전트가 이 지식 계층에 질의할 때 쓰는 선언형 쿼리 언어야. 자연어로 "찾아줘"가 아니라, 무엇을 원하는지 구조적으로 지정해. 이게 도구 호출 횟수가 절반으로 줄어든 이유 중 하나로 보여. 한 번의 정확한 질의가 여러 번의 탐색적 검색을 대체하니까.

배포 방식도 눈여겨볼 만해. 넥서스 데이터 플레인은 고객 자신의 클라우드에서 실행돼(BYOC). AWS, 구글 클라우드, 애저에 배포할 수 있고, 문서와 지식이 고객 인프라 안에 머물러. 쓰는 모델도 고객이 고를 수 있고, 지식 계층을 아카이브로 다운로드할 수 있어. 파인콘은 이걸 "락인 없음"이라고 표현했어.

항목 수치
τ-Knowledge — GPT-5.5 단독 (리더보드 최고 프론티어) 46.4%
τ-Knowledge — GPT-5.5 + 넥서스 47.4% (비용 77% 절감)
τ-Knowledge — GPT-5.2 + 넥서스 36.1% (정확도 12% 향상, 비용 80% 절감)
모델 호출 약 50% 감소
도구 호출 약 50% 감소
퍼블릭 프리뷰 컴파일 실적 소스 청크 350만 개 → 지식 아티팩트 26,000개
파인콘 내부 지원 큐 — 해결율 24.6% → 55.1%
파인콘 내부 지원 큐 — 할당율 76.5% → 94.2%
파인콘 내부 지원 큐 — 지원율 60.5% → 87.8%

GPT-5.2 조합의 숫자가 사실 더 흥미로워. 구형 모델에 넥서스를 붙였더니 정확도가 12% 올라가고 비용은 80% 내려갔어. 이건 "최신 모델로 갈아타는 대신 지식 계층을 붙이면 된다"는 주장의 가장 직접적인 근거야. 모델 업그레이드 비용을 아낄 수 있다는 메시지는 기업 구매 담당자에게 잘 먹히는 논거지.

각자가 챙기는 것

파인콘이 챙기는 건 포지션 이동이야. 벡터 DB는 지난 2년간 가장 상품화 압력이 컸던 카테고리 중 하나야. 포스트그레스에 pgvector가 들어가고, 기존 데이터베이스들이 전부 벡터 검색을 기본 기능으로 추가하면서 "벡터 검색 전용 DB를 왜 따로 사야 하는가"라는 질문이 계속 나왔어. 넥서스는 그 질문에서 벗어나는 답이야. 검색 인덱스가 아니라 지식 계층이라는 새 카테고리를 만들면 비교 대상 자체가 달라져.

기업 고객이 챙기는 건 비용이야. 77~80% 절감이 실제 배포에서 재현된다면 이건 도입 결정에 충분한 숫자야. 에이전트를 대규모로 돌릴 때 가장 큰 걱정이 예측 불가능한 토큰 비용인데, 호출 횟수 자체를 절반으로 줄이면 변동성도 함께 줄어들어. BYOC 배포로 데이터가 밖으로 안 나간다는 점은 규제 산업에서 별도의 가치가 있고.

도메인 전문가의 역할이 커지는 것도 이 구조의 특징이야. 매니페스트를 정의하는 건 엔지니어가 아니라 업무를 아는 사람이야. 지금까지 RAG 파이프라인 구축은 대체로 엔지니어링 작업이었는데, 넥서스는 도메인 지식을 명시적으로 앞단에 요구해. 이건 장점이자 비용이야. 잘 정의하면 성능이 오르지만, 정의할 사람이 없으면 시작을 못 해.

시스템 통합 업체와 컨설팅 회사에게는 새 일감이 생겨. 매니페스트를 정의하려면 고객사의 업무 절차를 정리하고 문서화하는 작업이 선행돼야 하는데, 이건 전형적인 컨설팅 영역이야. 기업 AI 도입에서 실제 병목이 기술이 아니라 업무 지식의 문서화라는 게 여러 차례 확인됐고, 넥서스 같은 제품은 그 병목을 제품 요구사항으로 명시화한 셈이야.

모델 제공사 입장에서는 미묘한 소식이야. "모델을 업그레이드하지 말고 지식 계층을 붙여라"는 메시지가 확산되면 프론티어 모델의 프리미엄 가격을 방어하기 어려워져. 마침 OpenAI가 8월 21일 GPT-5.6 Sol 가격을 20~33% 내린 것도 같은 압력의 다른 표현으로 읽을 수 있어.

숫자를 하나 더 뒤집어볼 필요도 있어. 350만 개 청크가 26,000개 아티팩트로 줄었다는 건 압축률이 높다는 뜻이지만, 동시에 압축 과정에서 무엇이 버려졌는지는 공개되지 않았어. 요약과 추출은 필연적으로 정보를 잃어. 대부분의 질의에는 문제가 없겠지만, 드물게 등장하는 예외 조항이나 각주에 답이 있는 경우 컴파일된 계층에서 그게 살아남았는지는 별도로 확인해야 할 부분이야. 정확도 47.4%라는 숫자가 100%가 아니라는 것도 같은 맥락에서 읽어야 해. 이 벤치마크의 절반 이상은 여전히 아무도 못 풀고 있어.

이런 주장이 처음은 아니야

RAG 인프라 시장에서 "우리 레이어를 붙이면 프론티어 모델을 이긴다"는 주장은 반복적으로 나왔어. 결과는 갈렸지.

성공 쪽 사례로는 코드 검색 도구들의 궤적을 볼 만해. 코드베이스 전체를 구조화해서 심볼 그래프로 만들어두면, 순수 텍스트 검색보다 훨씬 적은 호출로 정확한 맥락을 찾아. 이 방식은 실제로 코딩 에이전트 성능을 눈에 띄게 올렸고, 지금은 주요 코딩 도구들이 대부분 이 구조를 갖고 있어. 넥서스가 하려는 일과 발상이 같아. 미리 구조화해두면 런타임 호출이 줄어든다는 것.

실패 쪽은 2023~2024년의 여러 '엔터프라이즈 RAG 플랫폼'들이야. 데모에서는 인상적인 정확도를 보였지만 실제 기업 데이터에 붙이면 성능이 급락하는 패턴이 반복됐어. 원인은 대개 데이터 품질이었어. 문서가 최신이 아니고, 서로 모순되고, 정책이 문서화돼 있지 않은 상태에서 어떤 지식 계층을 얹어도 결과는 좋아지지 않았지.

넥서스의 매니페스트 설계는 이 실패에서 배운 것처럼 보여. 자동으로 다 해준다고 약속하지 않고, 도메인 전문가가 구조를 먼저 정의하게 만들거든. 이건 정직한 설계지만 도입 장벽이기도 해. 그리고 여전히 원본 데이터가 엉망이면 매니페스트를 잘 써도 한계가 있어.

한 가지 더 조심할 지점. 파인콘이 내놓은 숫자 중 상당수는 파인콘 자신의 내부 지원 큐 결과야. 해결율 24.6%에서 55.1%로 올랐다는 건 인상적이지만, 자사 데이터에서 자사 제품을 측정한 결과라는 맥락은 붙여서 읽어야 해. τ-Knowledge 쪽은 외부 벤치마크라 그나마 검증 가능성이 있어.

정식 출시 시점에 대한 정보도 조금 엇갈려. 공식 보도자료는 8월 19일 GA 발표로 나갔는데, 일부 보도는 제품 자체가 8월 6일부터 고객 클라우드에서 사용 가능한 상태였다고 전해. 프리뷰에서 GA로 넘어가는 과정이 단계적이었던 것으로 보이고, 실제 도입을 검토한다면 어느 시점부터 SLA와 지원 조건이 적용되는지를 계약서에서 확인하는 게 안전해. 신규 카테고리 제품일수록 이 경계가 모호한 경우가 많거든.

경쟁자들은 어떻게 받아칠까

OpenAI와 앤트로픽은 이미 각자의 방식으로 같은 문제를 공략하고 있어. 파일 검색과 커넥터, MCP 같은 표준으로 모델이 기업 데이터에 붙는 경로를 자기 플랫폼 안에 두려는 거지. 이 경로가 충분히 좋아지면 별도 지식 계층 제품의 필요성이 줄어들어. 반대로 모델 회사가 각 기업의 업무 구조까지 이해하는 층을 만들기는 어려우니, 그 틈이 넥서스 같은 제품의 자리야.

기존 데이터베이스 진영은 벡터 검색을 기본 기능으로 흡수한 것처럼 지식 그래프 기능도 흡수하려 할 거야. 이미 여러 DB가 그래프와 벡터를 한 엔진에서 다루는 방향으로 가고 있어. 파인콘이 시간을 벌려면 매니페스트와 KnowQL 같은 상위 추상화에서 실사용 격차를 만들어야 해.

엔터프라이즈 검색 기업들도 같은 시장을 노려. 글린 같은 회사들은 이미 기업 내부 데이터를 색인하고 권한 모델까지 다루는 자산을 갖고 있어. 이들의 강점은 데이터 접근과 권한이고, 파인콘의 강점은 지식 구조화야. 결국 두 축이 만나는 지점에서 경쟁이 붙어.

오픈소스 진영도 변수야. 지식 그래프 구축과 구조화 추출을 다루는 오픈소스 프레임워크들이 빠르게 성숙하고 있어. 상용 제품이 제공하는 가치가 '미리 구조화한다'는 아이디어 자체라면, 그 아이디어는 복제되기 쉬워. 파인콘이 지켜야 할 해자는 아이디어가 아니라 대규모 운영 경험과 컴파일 파이프라인의 안정성 쪽이야.

시에라의 위치도 흥미로워. 벤치마크를 만든 회사가 동시에 에이전트 제품을 파는 회사거든. 파인콘이 그 벤치마크에서 1위를 했다는 건 시에라 입장에서 벤치마크의 권위를 높이는 일이기도 하고, 동시에 자사 제품과 비교될 여지를 만드는 일이기도 해.

마지막으로 이 제품이 겨냥하는 고객이 누구인지를 분명히 해둘 필요가 있어. 넥서스는 문서가 많고 절차가 복잡하며 규제를 받는 대형 조직을 위한 물건이야. 문서 수백 건 규모의 조직이라면 이 정도의 구조화 파이프라인을 도입하는 비용이 얻는 이득보다 클 가능성이 높아. 매니페스트 정의, 컴파일 운영, 원본 변경 시 재컴파일까지 감안하면 운영 부담이 작지 않거든. 반대로 계약서와 정책 문서가 수만 건 단위로 쌓여 있고 답변의 정확성이 규제와 직결되는 조직이라면 계산이 완전히 달라져.

그래서 뭐가 달라지는데

RAG 파이프라인을 직접 만드는 개발자라면 여기서 가져갈 실용적 교훈은 제품 도입 여부와 별개로 존재해. 도구 호출이 절반으로 줄었다는 건, 검색을 반복하게 만드는 설계 자체가 비용의 주범이라는 뜻이야. 지금 파이프라인에서 에이전트가 같은 질문에 몇 번 검색하는지 로그를 세어봐. 그 숫자가 높으면 모델을 바꾸기 전에 인덱스 구조를 손보는 게 효율이 좋아.

엔터프라이즈 AI 도입을 검토한다면 확인할 건 벤치마크 순위가 아니라 재현성이야. 47.4% 대 46.4%는 우리 데이터에서 재현된다는 보장이 없어. 요구할 건 파일럿이고, 파일럿에서 재야 할 건 정확도보다 작업당 비용과 호출 횟수야. 그 두 숫자는 우리 데이터에서 바로 측정되고 거짓말을 못 해.

규제 산업에 있다면 BYOC 배포가 실질적인 차별점이야. 문서가 고객 클라우드 안에 머물고 지식 계층을 아카이브로 내려받을 수 있다는 조건은 금융·의료·공공에서 도입 심사를 통과하는 데 직접 쓰이는 요건이야. 계약 시 이 부분이 문서로 보장되는지 확인해.

AI 인프라 스타트업을 운영한다면 파인콘의 움직임은 참고할 만한 방어 전략이야. 자기 카테고리가 상품화 압력을 받을 때 아래로 내려가 가격 경쟁을 하는 대신 위로 올라가 새 카테고리를 정의하는 것. 다만 이 전략은 위쪽 레이어에서 실제로 고객 문제를 풀어야 성립해. 이름만 바꾼 리브랜딩이면 오래 못 가.

투자자라면 이 발표는 AI 인프라 스택에서 가치가 어디에 쌓이는지에 대한 데이터 포인트야. 모델 계층의 마진이 가격 경쟁으로 얇아지는 동안, 그 위나 아래의 계층이 가치를 가져갈 수 있다는 가설을 파인콘이 실증하려는 거지. 확인할 지점은 발표 숫자가 아니라 GA 이후 몇 분기 동안 실제 유료 고객이 얼마나 늘어나는지야.

AI 업계를 관찰하는 입장이라면 이 발표의 의미는 숫자보다 방향에 있어. 지난 2년은 더 좋은 모델이 모든 문제를 푼다는 서사가 지배했는데, 지금은 모델 성능이 충분히 올라온 영역에서 병목이 데이터와 지식 구조로 이동하고 있다는 주장이 힘을 얻고 있어. 이 주장이 맞다면 앞으로 돈이 흐르는 방향도 바뀌어.

정리하면 이번 발표의 핵심은 세 가지야. 외부 벤치마크에서 지식 계층을 붙인 조합이 프론티어 모델 단독을 근소하게 앞섰다는 것, 그 과정에서 모델 호출과 도구 호출이 각각 절반으로 줄어 비용이 크게 내려갔다는 것, 그리고 이 접근이 완전 자동이 아니라 도메인 전문가의 사전 정의를 전제로 한다는 것. 세 번째가 가장 실무적인 조건이고, 도입 성패도 대체로 여기서 갈려.

🥄 남은 궁금증 세 가지

— 1%포인트 차이로 프론티어 모델을 이겼다는 게 의미가 있어? 정확도만 보면 오차 범위에 가까워. 이 발표에서 진짜 숫자는 비용 쪽이야. 같은 성능대에서 작업당 비용이 77% 낮다면 대규모 배포에서는 완전히 다른 이야기가 돼. 다만 벤치마크 비용 측정은 실제 워크로드와 다를 수 있으니, 우리 데이터에서 직접 재보기 전에는 그대로 믿긴 일러.

— 그냥 RAG랑 뭐가 달라? 핵심 차이는 언제 구조화하느냐야. 일반 RAG는 질의 시점에 문서 청크를 찾아 모델에게 넘기고 조립을 맡겨. 넥서스는 미리 엔티티와 관계로 컴파일해두고 질의 시점에는 완성된 형태를 꺼내. 대신 앞단에 도메인 전문가의 정의 작업이 필요하고, 원본이 바뀌면 다시 컴파일해야 하는 비용이 붙어.

— 우리 회사에도 효과가 있을까? 문서 상태에 달렸어. 정책과 절차가 문서로 정리돼 있고 서로 모순되지 않는 조직이면 효과가 클 가능성이 있어. 반대로 문서가 낡았거나 실제 업무와 다르면 어떤 지식 계층을 얹어도 잘못된 답을 더 빠르게 낼 뿐이야. 도입 전에 먼저 볼 건 제품이 아니라 우리 문서야.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.