오픈AI 모델이 80년 묵은 에르되시 난제를 스스로 깼어 — 'AI가 수학을 한다'는 게 이런 거야

AI가 '문제 진술만 받고' 80년 난제를 스스로 반증한 거야

5월 20일, 오픈AI가 자사 내부 범용 추론 모델이 폴 에르되시가 1946년 제기한 이산기하학의 핵심 난제 '단위거리 추측(unit distance conjecture)'을 자율적으로 반증했다고 발표했어. 그냥 벤치마크 점수 하나 올린 게 아니야. 한 수학 분야의 미해결 핵심 명제를, 사람이 단계별로 안내하지 않은 상태에서 모델이 독립적으로 무너뜨린 거야. 이게 '첫 사례'라고 불리는 이유지.

문제 자체는 초등학생도 진술은 이해해. 평면에 점 n개를 찍을 때, 거리가 정확히 1인 점쌍은 최대 몇 개까지 만들 수 있나? 80년 가까이 수학계의 직관은 '정사각 격자(square grid) 배열이 사실상 최적'이라는 거였어. 격자처럼 규칙적으로 깔면 단위거리 쌍이 가장 많이 나온다고 믿었던 거지. 그런데 모델은 격자를 능가하는 **무한 점배열族(infinite family)**을 구성해서, 기존에 옳다고 여겨지던 상한을 깨버렸어.

충격의 핵심은 결과가 아니라 방법이야. 모델은 '격자를 조금씩 비틀어서 더 나은 배열을 찾자'는 식의 무식한 탐색을 한 게 아니야. 1964년에 증명된 골로드-샤파레비치(Golod-Shafarevich) 기준과 **무한 류체탑(infinite class field tower)**이라는, 대수적 수론의 깊은 구조를 초등기하학 문제에 연결했어. 조합기하학자들이 '이 문제에 그 도구를 쓸 생각'조차 못 했던 영역이야. 125쪽짜리 증명이 나왔고, 외부 수학자들의 검증을 거쳤어.

반응도 묵직해. 필즈상 수상자 팀 가워스(Tim Gowers)는 이걸 'AI 수학의 이정표(a milestone in AI mathematics)'라고 평했고, 프린스턴의 노가 알론(Noga Alon)은 '뛰어난 성취'라고 했어. 프린스턴의 윌 소윈(Will Sawin)은 개선 폭을 정량화해서 같은 날 동반 논문으로 발표했지. arXiv에는 이 반증을 다루는 후속 논문(2605.20695)까지 올라오면서 수학계 토론이 진행 중이야.

등장 인물 — 에르되시, 가워스, 소윈, 그리고 '범용 추론 모델'

폴 에르되시(Paul Erdős, 1913–1996). 20세기 가장 다작한 수학자. 평생 1,500편 넘는 논문을 썼고, '에르되시 수'라는 협업 거리 개념까지 만든 전설이야. 그가 1946년에 낸 단위거리 문제는 조합기하학의 가장 유명한 미해결 문제 중 하나로, 상한·하한의 격차가 80년간 거의 좁혀지지 않은 '하드 코어' 난제였어. 에르되시 본인도 이 문제에 상금을 걸었던 것으로 유명해.

팀 가워스(Tim Gowers). 1998년 필즈상 수상자. 조합론·함수해석학의 대가이자, 수학계에서 AI의 역할에 대해 꾸준히 발언해 온 인물이야. 그가 이번 반증을 '이정표'라고 부른 건 단순한 덕담이 아니라, '경쟁 문제 풀이'와 '연구 수준의 발견' 사이의 선을 모델이 넘었다는 평가로 읽혀.

윌 소윈(Will Sawin). 프린스턴 수학자. 모델의 반증을 받아서 개선 폭을 n^(1+δ), δ≥0.014로 정량화한 동반 논문을 냈어. 이게 중요한 이유는, '격자보다 낫다'는 정성적 주장에서 '얼마나 더 나은지'를 수학적으로 못 박은 거거든. 즉 모델의 결과를 인간 수학자가 받아서 이론으로 다듬는 인간-AI 협업 루프가 실제로 돌았다는 증거야.

오픈AI의 '범용' 추론 모델. 핵심은 이게 수학 전용으로 파인튜닝된 특수 모델이 아니라는 점이야. 오픈AI 설명에 따르면 모델은 (1) 이 문제용으로 학습되지 않았고, (2) 기존 풀이를 검색하지도 않았고, (3) 사람의 단계별 안내도 받지 않았어. 문제 진술만 받아서 125쪽 증명을 독립적으로 산출했다는 거야. 'AlphaProof' 같은 정리증명 특화 시스템과 달리, 범용 모델이 이걸 했다는 게 차별점이지.

핵심 내용 — 무엇을, 어떻게 깼는지

문제의 구조. 단위거리 문제는 'n개 점에서 거리 1인 쌍의 최대 개수 u(n)'을 묻는 거야. 에르되시는 u(n)의 상한이 대략 n^(1+c/loglog n) 꼴일 거라 추측했고, 한편으로 '정사각 격자가 거의 최적'이라는 추측(이번에 깨진 그것)이 따로 있었어. 격자 배열은 약 n^(1+c/loglog n)개의 단위거리 쌍을 만드는데, 오랫동안 이걸 능가하는 구성이 없었어.

모델이 한 것. 모델은 격자보다 점근적으로 더 많은 단위거리 쌍을 만드는 무한 점배열을 찾아냈어. 즉 충분히 큰 n에 대해 격자를 이기는 구성이 존재함을 보인 거지. 소윈의 정량화(δ≥0.014)는 이 우위가 '미미한 오차'가 아니라 다항식 수준의 진짜 개선임을 의미해.

왜 대수적 수론인가. 여기가 진짜 놀라운 지점이야. 단위거리 문제는 평면 위의 '거리'라는 기하 문제인데, 모델은 이를 수론적 구조로 번역했어. 골로드-샤파레비치 기준은 원래 '무한 류체탑이 존재하는가' 같은 추상 대수 문제를 다루는 도구야. 이걸 통해 특정 대수적 정수 구조에서 단위거리 쌍이 폭발적으로 늘어나는 점 배치를 끌어낸 거지. 조합기하학과 대수적 수론을 잇는 이 다리는, 인간 연구자들도 사후에 보고서야 '아, 이렇게 연결되는구나' 했을 만큼 비직관적이야.

검증. 125쪽 증명은 외부 수학자들의 검토를 거쳤고, arXiv에 관련 논문(2605.20695)이 올라왔어. 다만 모두가 만세를 부르는 건 아니야. 일부에서는 (1) 증명 검증의 범위와 재현성, (2) '자율'이라는 단어의 정확한 정의(어디까지가 모델이고 어디부터가 인간 개입인지), (3) 결과를 마케팅적으로 부풀린 건 아닌지를 두고 신중론을 제기하고 있어. 건강한 회의주의지.

항목	기존 통념	이번 결과
최적 배열	정사각 격자	격자를 능가하는 무한 점배열族
개선 폭	—	n^(1+δ), δ≥0.014 (윌 소윈)
사용 도구	조합기하학	골로드-샤파레비치 이론, 무한 류체탑
증명 분량	—	125쪽
주체	인간 수학자	오픈AI 범용 추론 모델(자율) + 인간 검증

각자의 이득

오픈AI의 이득. 첫째, 서사 전환. 그동안 'AI가 수학 올림피아드 문제를 푼다'는 건 인상적이지만 '이미 답이 있는 문제'였어. 이번엔 '답이 없던 연구 난제'를 깬 거라 질적으로 다른 마케팅 자산이야. 둘째, 모델 능력의 증거. GPT-5 계열 추론 모델의 '진짜 새로운 지식 생산' 능력을 보여줘서, 엔터프라이즈·연구 시장에 강력한 신호를 보냈어. 셋째, 인재·연구 신뢰. 학계 최고 권위자(가워스·알론)의 공개 인정은 돈으로 못 사는 평판이야.

수학계의 이득. AI를 '협업 도구'로 보는 시각이 강화됐어. 소윈이 모델 결과를 받아 이론으로 다듬은 것처럼, 앞으로 '모델이 후보 구성을 던지고 인간이 정리·검증하는' 워크플로가 일반화될 가능성이 커. 난제 공략의 속도가 빨라지면 수학 자체의 생산성이 올라가는 거지.

AI for Science 진영의 이득. 이번 사례는 'AI가 신약·재료·물리 같은 영역에서도 진짜 발견을 할 수 있다'는 주장에 강력한 레퍼런스가 돼. 잭 클락이 같은 주에 '12개월 내 노벨급 발견'을 예측한 것과 맞물려, 'AI for Science'가 슬로건이 아니라 실적 단계로 진입했다는 분위기를 만들어.

회의론자의 반론도 이득. 역설적으로, 신중론자들에게도 좋은 사례야. '자율'의 정의, 재현성, 검증 범위를 따지는 논쟁은 AI 발견의 평가 기준을 정교하게 만들 거거든. 이런 압박이 있어야 다음 발표들이 더 투명해져.

과거 유사 사례 — 성공과 실패

성공: 딥마인드 AlphaProof / AlphaGeometry (2024). 구글 딥마인드는 2024년 국제수학올림피아드(IMO)에서 은메달급 성적을 내는 정리증명 시스템을 공개했어. 다만 이건 '이미 정답이 정해진 경시 문제'를 푸는 특화 시스템이었지. 이번 오픈AI 사례는 '미해결 연구 난제'를 '범용' 모델이 깼다는 점에서 한 단계 위로 평가받아.

성공: 4색 정리·케플러 추측의 컴퓨터 증명. 1976년 4색 정리, 2014년 케플러 추측(Flyspeck 프로젝트)은 컴퓨터가 방대한 경우를 검증해 증명을 완성한 사례야. 하지만 그건 '인간이 설계한 절차를 기계가 실행'한 거였어. 이번엔 모델이 '어떤 도구를 쓸지(대수적 수론)'를 스스로 골랐다는 점이 결정적으로 달라.

부분 실패/논쟁: 과장된 AI 발견 주장들. 과거에도 'AI가 수학을 풀었다'는 헤드라인이 종종 과장으로 판명났어. 모델이 사실 사람이 짠 프레임 안에서만 작동했거나, 결과가 재현 안 됐던 경우들이지. 이번에도 '자율'의 경계를 두고 신중론이 나오는 건 이 학습된 경계심 때문이야. 그래서 외부 검증과 동반 논문(소윈)의 존재가 중요한 거고.

경쟁자 카운터 플레이

구글 딥마인드. 가장 직접적인 경쟁자야. AlphaProof·AlphaGeometry·Gemini의 정리증명 능력을 합쳐 '범용 모델의 연구 난제 공략'으로 반격할 가능성이 커. I/O 2026 직후라 'Gemini가 X 난제를 풀었다'는 대항 발표가 나와도 이상하지 않아. 딥마인드는 AlphaFold로 노벨 화학상(2024)까지 받은 'AI for Science' 원조라 명분도 충분해.

앤트로픽. Claude의 추론 능력을 수학·과학 발견 쪽으로 밀 수 있어. 다만 앤트로픽은 '안전·신뢰' 포지셔닝이 강해서, 발견 자랑보다 '검증 가능한 AI 수학'으로 차별화할 가능성이 있어. 잭 클락의 옥스퍼드 강연(같은 주)이 그 밑밥이지.

메타 FAIR·중국 빅랩. 메타는 오픈소스 수학 모델로, 딥시크 등 중국 랩은 자체 추론 모델(R 계열)로 '우리도 난제를 푼다'는 추격 발표를 낼 수 있어. 다만 외부 권위자의 공개 검증을 받는 게 핵심 관문이라, 단순 점수 자랑으로는 이번 임팩트를 따라잡기 어려워.

학계의 카운터. 일부 수학자들은 'AI 없이도 풀 수 있었다' 또는 '핵심 아이디어는 인간이 줬다'는 식의 재해석을 시도할 수 있어. 이건 경쟁이라기보단 검증 과정인데, 결과적으로 'AI 발견'의 기준을 더 엄격하게 만들 거야.

그래서 뭐가 달라지는데 — 페르소나별

수학·이론 연구자. 워크플로가 바뀔 신호야. '난제 후보 구성은 모델에 던지고, 검증·정리·논문화는 내가 한다'는 분업이 현실화되고 있어. 권장 — 본인 분야의 미해결 문제 중 '구성·반례 탐색'이 핵심인 것들을 추려서 추론 모델에 실험적으로 던져 봐.

AI 엔지니어·연구자. '범용 추론 모델이 도구 선택까지 자율적으로 한다'는 게 핵심 교훈이야. 파인튜닝 없이도 도메인 난제를 공략하는 패턴은, 에이전트 설계(어떤 도구를 언제 쓸지 모델이 결정)에 직접 영감을 줘.

투자자·기업. 'AI for Science'가 슬로건에서 실적으로 넘어가는 변곡점일 수 있어. 신약·재료·반도체 설계처럼 '탐색 공간이 거대하고 검증이 명확한' 분야가 다음 타깃이야. 다만 발표의 '자율' 주장은 항상 외부 검증 여부를 확인하고 받아들이는 게 안전해.

일반 독자. 직접 영향은 없지만, 'AI가 인간이 못 본 연결을 찾는다'는 게 추상 이론에서 실증으로 넘어온 사건이야. 동시에 '자율의 정의'를 둘러싼 논쟁은, 앞으로 AI 발견 뉴스를 읽을 때 '진짜 자율인지'를 따져 보는 안목이 필요하다는 교훈도 줘.

규제·정책. 'AI가 새로운 과학 지식을 생산한다'는 사실은, 연구 진실성·저작권·검증 표준 같은 새로운 거버넌스 질문을 던져. 논문 저자 표기에서 AI의 지위, 발견의 재현성 요구 같은 게 향후 학술 정책의 쟁점이 될 거야.

참고 자료

• OpenAI — Model disproves a discrete geometry conjecture
• arXiv — Remarks on the disproof of the unit distance conjecture (2605.20695)
• Gil Kalai — Amazing: Erdős' Unit Distance Problem was Disproved!
• Interesting Engineering — 80-year-old geometry mystery cracked by OpenAI
• explainx.ai — OpenAI solves 80-year Erdős geometry problem