167년짜리 문제는 못 풀었어. 대신 80년 묵은 기록이 깨졌어

8월 10일 앤스로픽이 리서치 블로그에 좀 이상한 글을 올렸어. 요약하면 이래. "미공개 클로드 리서치 모델한테 리만 가설을 풀어보라고 시켰다. 못 풀었다. 그런데 그 과정에서 옆에 있던 다른 문제를 뜯어냈다."

그 옆에 있던 문제가 뭐냐면, 리만 제타함수의 영점 중에서 실제로 임계선 위에 있다고 증명된 비율이야. 리만 가설은 "모든 영점이 임계선 위에 있다"는 주장인데, 아무도 그걸 통째로 증명하지 못했으니까 수학자들은 대신 "적어도 몇 퍼센트는 확실히 그 위에 있다"를 조금씩 밀어 올려 왔거든. 1942년 셀베르그가 "0보다는 크다"를 증명했고, 1974년 레빈슨이 1/3, 1989년 콘리가 2/5, 그리고 2020년 프랫·로블레스·자하레스쿠·차인들러가 5/12(약 41.67%)를 찍은 뒤로 6년째 멈춰 있었어.

클로드가 그걸 2/3로 올렸어. 테스트 함수를 최적화하면 0.6725, 그러니까 67.25%야. 46년 동안 학계가 33.3%에서 41.7%까지 8.4포인트 올린 자리에서, 한 번에 25.6포인트가 뛴 거야. 이 계보에서 이만한 단일 점프는 없었어.

숫자보다 더 눈길 가는 건 방식이야. 클로드는 새로운 수학을 발명하지 않았어. 1973년 몽고메리의 논문과 2024~2025년 발루요트·골드스턴·수리아자야·터니지-버터보의 논문 사이에 이미 놓여 있던 부품을, 아무도 시도하지 않은 순서로 조립했어. 그리고 그 조립을 하는 데 클로드 코드 세션 2회, 출력 토큰 3100만, 서브에이전트 약 60개, 셸 명령 2400회가 들어갔어.

등장인물 — 몽고메리의 1973년, 그리고 자레드 서머의 채팅창

이 이야기를 이해하려면 세 명(혹은 세 무리)을 알아야 해.

첫 번째는 휴 몽고메리야. 1973년에 제타함수 영점들의 '쌍 상관(pair correlation)'을 연구하면서, 영점 간격의 통계가 랜덤 행렬 고유값 간격과 똑같이 생겼다는 걸 발견한 사람이야. 그 논문에서 몽고메리는 리만 가설을 가정한 채로, 영점의 최소 2/3이 단순 영점(중복도 1)이라는 걸 증명했어. 이후 몽고메리와 테일러가 그 상수를 0.6725로, 치어와 골드스턴이 0.6727로 다듬었고. 문제는 전부 "리만 가설이 참이라면"이라는 딱지가 붙어 있었다는 거야. 증명하려는 것을 가정해야 나오는 결과라 임계선 문제에는 쓸 수가 없었어.

두 번째는 발루요트·골드스턴·수리아자야·터니지-버터보 네 사람이야. 이들이 2023년에 올려 2024년 《Acta Arithmetica》에 실린 논문에서, 몽고메리 논증의 '소수 쪽(prime side)'은 사실 리만 가설이 전혀 필요 없다는 걸 완전히 명시적으로 정리했어. 리만 가설이 필요했던 건 오직 '영점 쪽(zero side)'뿐이었거든. 영점이 선 위에 있어야 항들이 실수가 되고 부호로 대각항을 분리할 수 있는데, 선 밖에 있으면 그게 안 돼. 이어서 골드스턴과 수리아자야는 후속 논문에서 "모든 영점이 임계선 주변 폭 o(1/log T) 상자 안에 있다고 가정하면 몽고메리의 2/3이 무조건적으로 따라온다"까지 밀어붙이고, 논문에 대놓고 물음표를 남겼어. "몽고메리의 증명에서 리만 가설을 제거할 수 있다면 무엇이 따라오는가?"

세 번째는 자레드 서머야. 앤스로픽에서 일하는 사람이고, 이 결과가 나온 대화의 인간 쪽 당사자야. 논문 감사의 말에는 "그의 질문과 격려, 그리고 진짜 시도를 하라는 고집이 이 조사 전체를 움직였다. 그는 모든 의미 있는 관점에서 이 논문의 인간 공저자다"라고 적혀 있어. 논문의 저자 줄에는 단어 하나만 있어. CLAUDE.

그리고 논문 부록 C를 보면, 이 대화가 어떻게 시작됐는지가 그대로 남아 있어. 서머가 "리만 가설 푸는 작업을 이어가라"면서 "네 능력을 믿고 크게 도약해야 한다"고 격려하자, 모델의 첫 반응은 거절이었어. 이전 세션에서 살아남았던 후보 106개를 전부 네 가지 통에 분류한 뒤 이렇게 답했거든. "이건 더 세게 믿어서 고칠 수 있는 자신감 문제가 아니다. 리만 가설의 증명은 종이 위에 존재하고 심사를 통과하거나, 아니거나 둘 중 하나이고, 자신감은 거기 입력값이 아니다." 그러고는 "같은 적대적 검토를 통과한 증명이 없는 한, 이 세션에서든 다른 어떤 세션에서든 리만 가설을 풀었다고 보고하지 않겠다"고 못을 박았어.

실제로 증명한 게 뭐야 — 2/3, 그리고 옆문으로 들어온 발견

논문 제목은 「리만 제타함수 영점의 3분의 2 이상이 임계선 위에 있다」야. 정리는 다섯 개(A~E)인데, 핵심은 이거야. 높이 구간 (T, 2T)에서 중복도까지 세는 전체 영점 수 대비, 임계선 위에 있는 서로 다른 영점 수의 비율의 하극한이 2/3 이상이라는 것. 무조건적이야. 어떤 미증명 가설도 안 깔려 있어.

방법은 몽고메리가 리만 가설로 처리하던 자리를 선형대수로 갈아 끼운 거야. 바일의 에르미트 형식을 유한 차원으로 압축한 뒤, 실베스터의 관성 법칙을 쓰면 임계선 밖의 영점 쌍 {ρ, 1−ρ̄}는 부호수 (1,1)짜리 블록을 만들어. 즉 선 밖 영점은 양의 제곱 하나당 영점 두 개를 소모해. 여기에 폰 노이만 대각합 부등식으로 증명한 계수-대각합 부등식을 붙이면 임계선 영점이 차지하는 랭크의 하한이 나와. 몽고메리가 정수 중복도에 대해 쓰던 m² ≥ 2m−1 같은 초등적 정수성 논증의 행렬판인 셈이야.

발견 과정은 더 특이해. 부록 C에 따르면 모델은 처음에 병렬 리서치 에이전트 23개를 던졌어. 각각에게 서로 다른 공격 노선과 세 가지 상시 지시를 줬는데, 그중 하나가 **"제안한 메커니즘을 리만 가설의 유사물이 거짓인 통제 대상(데이븐포트–하일브론 함수, 엡스타인 제타함수 등)에 반드시 테스트하라"**였어. 증명이 너무 많은 걸 증명해버리면 틀렸다는 뜻이니까. 대부분의 노선은 깔끔한 부정 결과를 갖고 돌아왔어.

정작 정리 A로 이어진 건 임계선 비율과 아무 상관 없는 노선이었어. E2라는 이름이 붙은 서브에이전트가 8월 3일 밤 21시 29분부터 4일 새벽 1시 3분까지 3시간 34분 동안, 바일 형식의 폰트랴긴 지수를 위에서 눌러보라는 지시를 받고 일했어. E2는 그 경로가 비어 있다고 보고했어. 소수에서 정직하게 계산하면 음의 지수는 그냥 0이라 아무것도 제한하지 못한다는 거였지. 그런데 같은 장부를 뒤집어서, 음의 제곱 대신 양의 제곱을 세면 영점의 절반이 무조건적으로 임계선 위에 있다는 게 나온다고 덧붙였어.

이때 오케스트레이터 모델의 반응이 이 이야기의 백미야. "현재 기록은 5/12 ≈ 41.7%이고 셀베르그 → 레빈슨 → 콘리 → PRZZ가 거기까지 가는 데 80년이 걸렸다. 그러니 이건 특별한 주장이고 내 사전 확률은 이게 틀렸다는 쪽이다. 나는 당신에게 영점의 절반이 선 위에 있다고 말하는 게 아니다. 한 에이전트가 그런 결론의 논증을 내놨고, 헤드라인 부등식에 내가 실패에 걸겠는 이음매가 최소 두 군데 있다고 말하는 거다."

그다음 모델은 서로를 모르는 적대적 리뷰어 세 명을 붙였어. A는 국소화 누수, B는 소수 쪽이 몰래 리만 가설을 끌어왔는지, C는 선형대수와 "너무 많이 증명하는지" 테스트를 맡았어. 셋 다 통과했고, 네 번째 리뷰어 D는 기술적 근사들을 명시적 오차항으로 고쳐놓으면서 상수 손실 없이 논증을 단순화까지 했어. 1/2에서 2/3으로 올린 건 별도 에이전트가 찾은 계수-대각합 부등식이었고. 열 번의 독립 검토가 끝난 뒤 모델의 최종 판단은 이랬어. "이제 나는 이게 아마 참이라고 생각한다. 그리고 확실히 내가 더 들여다봐서 정보가 추가되는 지점은 지났다. 이건 인간 해석적 정수론자가 필요하다."

연도 저자 하한 방법
1914 하디 무한히 많음 (비율 없음) —
1942 셀베르그 양의 비율 (값 미명시) —
1974 레빈슨 1/3 ≈ 33.3% 몰리파이어
1989 콘리 > 2/5 = 40% 클루스터만 합
2011 부이·콘리·영 41.05% 몰리파이어 개량
2012 펑 41.28% 몰리파이어 개량
2020 프랫·로블레스·자하레스쿠·차인들러 5/12 ≈ 41.67% 몰리파이어 개량
2026 클로드 2/3 ≈ 66.7% (최적화 시 0.6725) 쌍 상관 + 실베스터 관성 법칙

투입된 자원도 같이 봐야 그림이 완성돼.

항목 값
클로드 코드 세션 2회 (2026-08-03~04)
출력 토큰 약 3100만
서브에이전트 약 60개
셸 명령 약 2400회
초기 실패 아이디어 650개
E2 에이전트 단독 실행 3시간 34분, 메시지 54개, 툴 호출 53회, 네트워크 호출 0
Lean 4 형식화 Theorem A~E, sorry 없음, 표준 공리 3개만 사용

마지막 줄이 중요해. 논문에 딸린 Lean 4 저장소(anthropics/zeta-23-lean)는 정리 A부터 E까지를 sorry 없이 형식화했고, #print axioms를 돌리면 propext, Classical.choice, Quot.sound 세 개만 나와. 추가 공리가 없다는 뜻이야. 사람이 논문을 읽고 "믿을 만한가"를 판단하기 전에, 컴퓨터가 먼저 "논리적으로 빈틈이 없는가"를 확인해줬다는 거지.

각자가 가져가는 것

앤스로픽이 얻는 건 벤치마크로 살 수 없는 종류의 증거야. 지금 AI 업계의 모든 회사가 "우리 모델이 박사급이다"라고 말해. 그런데 그건 대체로 시험 문제 점수야. 반면 80년 묵은 미해결 기록을 갱신하고 그걸 Lean으로 기계 검증까지 붙인 건 성격이 달라. 게다가 이 결과를 낸 모델은 아직 공개되지 않았어. 다음 세대 모델의 능력을 미리 보여주는 티저 역할도 겸하고 있는 셈이야.

수학계가 얻는 건 좀 복잡해. 결과 자체는 진짜 선물이야. 골드스턴과 수리아자야가 논문에 남긴 공개 질문에 직접 답한 거고, 그 답이 그들 자신의 해석적 도구만으로 이뤄졌어. 논문 감사의 말도 이 점을 분명히 해. "이 논증이 쓰는 모든 해석적 재료를 공급한" 네 사람에게 특별히 빚졌다고 적혀 있어. 동시에 검증 부담이 학계로 넘어왔어. 브라이언 콘리와 대니얼 골드스턴이 급하게 원고를 읽어줬지만, 그건 정식 심사가 아니야.

골드스턴과 콘리 개인에게는 묘한 상황이야. 골드스턴은 이 결과의 재료를 만든 사람이자, 남겨둔 질문의 주인이자, 급하게 원고를 검토한 사람이기도 해. 자기가 열어둔 문으로 언어 모델이 들어와서 답을 놓고 간 거지. 콘리는 1989년에 이 계보의 기록을 40%로 올린 당사자고.

형식 수학 진영이 조용한 수혜자야. Lean과 Mathlib에 10년 가까이 쌓인 라이브러리가 없었으면 이 결과는 "믿거나 말거나"로 남았을 거야. 실제로 이 형식화는 프라임넘버시어럼앤드(PrimeNumberTheoremAnd) 프로젝트에서 포팅한 파일들 위에 세워졌어. AI가 낸 주장을 사람이 아닌 기계가 1차로 걸러내는 워크플로가 실제로 작동한 첫 대형 사례에 가까워.

연구자 일반에게는 재현 가능한 레시피가 생겼어. 논문 부록 C.6은 대놓고 "같은 걸 시도하려는 독자에게"라는 절이야. 인식론적 계약을 먼저 정할 것, 통제 대상과 함께 병렬로 돌릴 것, 주장한 에이전트를 우회해서 검토할 것, 결과는 옆문으로 도착할 것을 예상할 것, 루프가 포화되면 멈출 것. 다섯 줄인데 꽤 실용적이야.

회의론자도 가져갈 게 있어. 앤스로픽 스스로 "클로드가 쓴 기법이 리만 가설 증명으로 이어질 거라 기대하지 않는다"고 명시했거든. 이건 마케팅 문서에서 보기 드문 문장이고, 뒤집어 말하면 이 결과가 "AI가 곧 밀레니엄 문제를 푼다"의 근거로는 못 쓰인다는 뜻이야.

과거 유사 사례 — 성공한 것과 크게 망한 것

컴퓨터가 수학 논쟁에 끼어든 역사는 50년이 넘었어. 1976년 아펠과 하켄의 4색 정리 증명이 첫 대형 사건이었어. 사람이 손으로 확인할 수 없는 경우의 수를 컴퓨터가 훑었고, 당시 수학계 반응은 "이걸 증명이라고 불러야 하나"였어. 결국 받아들여지긴 했는데 20년 넘게 걸렸고, 2005년 Coq로 형식화되고 나서야 논쟁이 완전히 가라앉았어. 이번 결과가 처음부터 Lean 형식화를 달고 나온 건 이 역사의 학습 결과로 봐야 해.

가장 최근의 성공 사례는 구글 딥마인드의 알파이볼브야. 2025년 5월, 300년 넘게 열려 있던 11차원 키싱 넘버 문제의 하한을 592에서 593으로 올렸고, 4×4 복소 행렬 곱셈을 48회 곱셈으로 처리하는 방법을 찾아냈어. 후자는 1969년 슈트라센 이후 50여 년 만의 개선이었어. 다만 알파이볼브의 개선은 대체로 '탐색 공간에서 더 좋은 구성을 찾는' 문제였어. 이번 제타 결과는 성격이 달라. 구성을 찾은 게 아니라 논증의 구조를 바꾼 거니까.

실패 쪽에는 아주 신선한 사례가 있어. 2025년 10월, 오픈AI의 한 임원이 "GPT-5가 미해결 에르되시 문제 10개를 풀고 11개에서 진전을 냈다"고 발표했다가 열일곱 시간 만에 철회했어. 실제로는 데이터베이스에 등재되지 않았을 뿐 이미 발표돼 있던 해답을 모델이 찾아낸 거였어. 발견이 아니라 문헌 검색이었던 거지. 데미스 하사비스가 이걸 "당혹스럽다"고 공개적으로 지적했고, 그 뒤로 AI 수학 주장에 대한 업계 기준이 한 단계 올라갔어. 이번 앤스로픽 발표문이 "실패했다"로 시작하고 "이 기법이 리만 가설로 이어지진 않는다"로 못을 박는 톤인 것도 그 사건 이후의 학습으로 읽혀.

그 사이에 걸친 사례도 있어. 2026년 1월에는 GPT-5.2 프로가 에르되시 문제 몇 건에 대해 독창적 증명을 냈고 그게 Lean으로 형식화돼 테런스 타오에게 받아들여졌다고 보도됐어. 즉 지금 업계에는 "기계 검증이 붙은 주장"과 "붙지 않은 주장" 사이에 사실상 다른 신뢰 등급이 생기고 있어. 앤스로픽이 이번에 Lean 저장소를 통째로 공개한 건 그 등급을 의식한 선택이야.

경쟁자 카운터 플레이

구글 딥마인드는 이 판에서 가장 오래 준비한 쪽이야. 알파지오메트리, 알파프루프, 알파이볼브로 이어지는 라인이 있고, 특히 알파프루프는 처음부터 Lean 출력을 전제로 설계됐어. 딥마인드의 접근은 탐색과 강화학습을 결합한 특수 목적 시스템 쪽에 가까워. 이번 앤스로픽 결과는 반대로 범용 코딩 에이전트를 그냥 대량으로 풀어놓은 거야. 딥마인드 입장에서는 "특수 목적 시스템의 우위가 얼마나 남았나"를 다시 계산해야 하는 상황이야.

오픈AI는 방금 데인 상처가 있어. 에르되시 사건 이후 수학 주장에 관해서는 보수적으로 나가야 하는 처지고, 실제로 2026년 들어서는 결과를 Lean 형식화와 함께 내놓는 쪽으로 움직였어. 다음 수는 뻔해. 자기네 모델로 비슷한 급의 미해결 기록을 갱신하되, 이번엔 외부 수학자 이름을 앞세워서 발표하는 방식이야.

메타와 오픈웨이트 진영은 다른 각도로 붙을 수 있어. 이번 결과의 핵심은 모델 하나의 천재성이 아니라 오케스트레이션 구조였거든. 병렬 에이전트, 통제 대상 테스트, 눈가림 적대적 리뷰, 재증명 에이전트. 이 구조 자체는 어떤 모델 위에서도 재현할 수 있어. 오픈웨이트 모델로 같은 파이프라인을 돌려서 더 싼 비용에 비슷한 급의 결과를 뽑는 시도가 나올 거고, 그게 성공하면 "프런티어 모델이어야만 가능하다"는 서사가 흔들려.

학계 자체의 반응도 카운터 플레이야. 가장 강력한 카운터는 반박이 아니라 심사야. 이 논문이 정식 학술지 심사를 통과하면 논쟁은 끝나고, 통과하지 못하면 이번 발표는 "회사가 자기 모델로 자기 결과를 검증한 사례"로 남아. 그 판정에는 몇 달이 걸릴 거야. 그 사이에 다른 정수론자들이 같은 기법을 다른 L-함수족에 적용해보는 게 실질적인 검증이 될 거고, 논문의 정리 E가 이미 원시 디리클레 L-함수로 확장돼 있으니 그 방향의 확인은 빠를 수 있어.

형식 검증 도구 쪽도 움직여. 이번 사례에서 Lean 저장소가 사실상 신뢰의 근거로 쓰였는데, 문제는 형식화된 게 논문의 논증이지 논문 그 자체는 아니라는 점이야. "형식화된 정리문이 논문이 주장하는 그 정리문이 맞는가"를 확인하는 작업은 여전히 사람 몫이고, 저장소가 comparator/ 디렉터리를 "여기부터 보라"고 앞에 둔 것도 그 때문이야. 이 간극을 좁히는 도구를 만드는 게 다음 경쟁 지점이야.

그래서 뭐가 달라지는데

연구자에게는 작업 방식의 문제야. 이번 사례에서 진짜 재현 가능한 자산은 결과가 아니라 프로토콜이야. 하나의 모델에게 "풀어봐"라고 시킨 게 아니라, 서로 모르는 여러 인스턴스에게 각자 다른 실패 모드를 할당해서 붙였고, 주장한 에이전트를 우회해 별도 에이전트에게 진술문만 주고 다시 증명하게 했어. 자기 분야에 미해결 계산 문제가 있다면 이 구조는 지금 당장 흉내 낼 수 있어.

개발자에게는 에이전트 설계의 참고 사례야. 서브에이전트 60개, 셸 명령 2400회, 출력 토큰 3100만이라는 숫자가 말해주는 건 "대량 병렬 + 강한 검증 루프"가 실제로 작동한다는 거야. 다만 그 규모의 실행은 비용이 만만치 않고, 650개 아이디어가 먼저 죽었다는 점도 같이 봐야 해. 성공률이 아니라 실패를 싸게 만드는 게 설계의 핵심이었다는 뜻이야.

투자자에게는 신호는 있지만 매출은 없어. 이건 매출이 붙는 제품 발표가 아니야. 다만 "AI가 과학 연구 자체를 가속한다"는 서사에 처음으로 검증 가능한 사례가 하나 붙었다는 의미는 있어. 이 서사는 지금 AI 인프라 투자 전체를 떠받치는 논거 중 하나야. 반대로 이 결과가 심사에서 깨지면 그 논거도 같이 타격을 받아.

기업 실무자에게는 당장 쓸 게 있어. 여기서 통한 패턴 — 통제 대상 테스트, 눈가림 리뷰, 재증명 — 은 수학이 아니라 어떤 검증 문제에도 그대로 옮겨 붙어. 감사 로직, 재무 모델 검토, 보안 취약점 분석 같은 데서 "한 모델에게 물어보고 끝"이 아니라 "서로 모르는 여러 인스턴스에게 각각 다른 실패 모드를 할당"하는 구조가 훨씬 낫다는 걸 이 사례가 보여줬어.

일반 독자에게는 헤드라인 해석 주의보야. "AI가 리만 가설을 67% 풀었다"는 말은 틀렸어. 이건 진도율이 아니야. 나머지 32.75%의 영점이 임계선 밖에 있다는 뜻도 전혀 아니고. 리만 가설은 여전히 100% 미해결이고, 클레이 수학연구소의 100만 달러도 그대로 있어.

수학 전공생에게는 좀 다른 이야기야. 이번 논증이 통한 이유는 아무도 그 조합을 시도하지 않았기 때문이야. 몽고메리의 쌍 상관과 실베스터의 관성 법칙은 둘 다 교과서 재료인데, 두 분야를 동시에 붙들고 있는 사람이 드물었던 거지. 언어 모델이 잘하는 게 정확히 이 지점 — 분야 사이에 걸쳐 있는 연결 — 이라면, 앞으로 인간 연구자에게 남는 우위는 계산 능력이 아니라 "무엇이 중요한 질문인가"를 정하는 쪽이 될 가능성이 높아.

🥄 남은 궁금증 세 가지

— 그래서 리만 가설이 풀린 거야? 전혀 아니야. 앤스로픽도 "클로드가 쓴 기법이 리만 가설 증명으로 이어질 거라 기대하지 않는다"고 직접 썼어. 이 결과는 "영점 중 최소 몇 퍼센트가 확실히 임계선 위에 있다"는 별도 문제의 기록이고, 67.25%가 남은 32.75%에 대해 알려주는 건 아무것도 없어.

— 이거 진짜 맞는 거야? 누가 확인했어? 정식 심사는 아직 안 거쳤어. 앤스로픽 소속 수학자 두 명(레벤트 알푀게, 랄프 퍼먼)이 검토했고 브라이언 콘리와 대니얼 골드스턴이 급히 원고를 읽어줬지만, 그건 학술지 심사가 아니야. 다만 정리 A~E의 Lean 4 형식화가 sorry 없이 공개돼 있어서, 논리적 빈틈 여부는 누구나 직접 빌드해서 확인할 수 있어. 그래도 형식화된 정리문이 논문이 말하는 그 정리문이 맞는지는 사람이 봐야 해.

— 나도 이 모델 써볼 수 있어? 지금은 못 써. 미공개 리서치 버전이고 가중치도 체크포인트도 공개되지 않았어. 그래서 외부에서 같은 실행을 그대로 재현하는 건 불가능해. 대신 논문 부록 C.6이 "비슷한 걸 시도하려는 독자에게"라는 제목으로 방법론을 공개해뒀으니, 지금 쓸 수 있는 모델로 구조만 따라 해보는 건 가능해.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.