서버가 내 데이터를 한 번도 못 보는 AI 추론

8월 14일 구글이 HEIR라는 걸 공개했어. 이름은 Homomorphic Encryption Intermediate Representation, 우리말로 옮기면 "동형암호 중간표현"이야. 정체는 컴파일러고, 하는 일은 이거야. 평문 데이터를 전제로 학습된 AI 모델을 받아서, 암호화된 입력에서 그대로 돌아가는 버전으로 바꿔줘.

이게 왜 특이하냐면, 지금까지 클라우드에서 AI를 쓰려면 데이터를 어느 시점엔가는 반드시 복호화해야 했거든. 전송 중에도 암호화되고 저장할 때도 암호화되지만, 계산하는 그 순간만큼은 평문이어야 했어. 서버 메모리 안에 원본이 잠깐이라도 올라간다는 뜻이야. 완전동형암호(FHE)는 그 마지막 구멍을 막는 기술이고, HEIR는 그걸 암호학 박사 없이도 쓸 수 있게 만들려는 시도야.

구글 블로그의 표현은 이래. "오늘 우리는 프라이빗 컴퓨팅 툴킷에 추가된 가장 강력한 도구 HEIR를 소개한다. HEIR는 암호학적으로 안전한 프라이빗 AI 추론을 가능하게 하는 오픈소스 컴파일러다." 글쓴이는 구글 스태프 소프트웨어 엔지니어 제러미 쿤(Jeremy Kun)이야.

먼저 김을 좀 빼고 시작할게. 이걸로 챗봇을 돌릴 수는 없어. 지금 HEIR가 실제로 컴파일해서 보여준 건 추천 모델, 카드 사기 탐지기, 네트워크 침입 탐지, 핫워드 감지 같은 작고 구조가 단순한 모델들이야. 대규모 언어모델 추론은 여전히 FHE로 감당이 안 돼. 이 기사는 그 경계선이 정확히 어디에 있는지, 그리고 그 선이 왜 조금씩 움직이고 있는지에 대한 이야기야.

동형암호가 20년 넘게 "이론상 완벽, 실전에서 불가능"이었던 이유

동형암호라는 개념 자체는 오래됐어. 암호문끼리 더하고 곱해도 복호화하면 평문끼리 더하고 곱한 결과가 나오는 암호 체계야. 임의의 계산을 무제한으로 할 수 있는 완전동형암호가 이론적으로 가능하다는 게 증명된 건 2009년이야. 그때부터 이 분야는 "언젠가 세상을 바꿀 기술" 목록의 고정 멤버였어.

문제는 속도였어. 암호문 하나가 평문 대비 수천 배 크고, 연산 한 번이 평문 연산 대비 수백에서 수만 배 느려. 게다가 곱셈을 할 때마다 암호문 안의 잡음(noise)이 커지는데, 이 잡음이 일정 수준을 넘으면 복호화가 아예 실패해. 그래서 중간중간 잡음을 초기화하는 부트스트래핑(bootstrapping)이라는 작업이 필요한데, 이게 FHE 전체에서 제일 비싼 연산이야.

계산해 보면 감이 와. 평문으로 1마이크로초 걸리는 계산이 암호문에서 1밀리초가 되면 그건 쓸 만해. 그런데 평문으로 1초 걸리는 계산은 암호문에서 15분 단위로 늘어나. 이 배율이 FHE가 20년 가까이 논문 밖으로 못 나온 이유야. 은행도, 병원도, "완벽하게 안전한데 만 배 느린 시스템"에는 예산을 쓰지 않거든.

두 번째 문제는 사람이었어. FHE를 실제로 쓰려면 스킴 선택(BGV냐 BFV냐 CKKS냐 CGGI냐), 링 차원과 모듈러스 같은 파라미터 설정, 잡음 예산 관리, 암호문 패킹 배치, 재선형화와 모듈러스 스위칭 삽입 위치 결정을 전부 직접 해야 했어. 이건 그냥 어려운 게 아니라 암호학 대학원 수준의 지식이야. 라이브러리는 있었지만, 라이브러리를 쓸 줄 아는 사람이 세계에 수백 명 단위였다는 게 진짜 병목이었어.

그리고 여기서 컴파일러라는 접근이 왜 결정적인지가 나와. 위에 나열한 작업들은 하나같이 "프로그램 전체를 보고 최적화하는 문제"야. 사람이 손으로 하기엔 최악이고, 컴파일러가 하기엔 딱 맞는 종류의 일이지. HEIR가 겨냥한 게 정확히 그 지점이야.

구글이 왜 이걸 하고 있냐면 — 5년짜리 밑밥

이번 발표는 갑자기 튀어나온 게 아니야. 구글은 2020년에 C++ 기반 FHE 트랜스파일러를 오픈소스로 공개했어. C++ 코드를 받아서 암호문 위에서 도는 회로로 바꿔주는 도구였고, 당시 기준으로는 세계 최초에 가까운 시도였어.

2023년 8월에는 그걸 확장해서 텐서플로 모델을 FHE로 컴파일하는 기능을 추가했어. 그때 구글이 자랑한 수치가 "3계층 신경망 하나를 FHE로 컴파일해서 16초 만에 프라이빗 추론을 만들어냈다"였어. 3계층 신경망에 16초. 이게 3년 전 구글이 자랑스럽게 내놓은 최고 기록이었다는 걸 기억해 두면 지금 상황이 어느 정도인지 가늠이 돼.

그리고 지금, 원래의 fully-homomorphic-encryption 저장소는 스스로를 이렇게 설명해. "5년 전 C++ 트랜스파일러로 시작한 것이 두 개의 새로운 오픈소스 라이브러리로 변모했다." 두 개가 뭐냐면 HEIR와 Jaxite야. Jaxite는 JAX로 작성된, TPU와 GPU를 노리는 FHE 백엔드고, HEIR는 그 위에 얹히는 컴파일러 계층이야. 원래 트랜스파일러 코드는 아카이브 태그로 밀려났어. 구글이 1세대를 접고 2세대에 베팅했다는 뜻이야.

HEIR가 구글의 다른 프라이버시 기술과 다른 점도 짚어둘 만해. 구글은 이미 안드로이드의 프라이빗 컴퓨트 코어(Private Compute Core), 연합학습, 차등 프라이버시 라이브러리를 갖고 있어. 그런데 이것들은 전부 "데이터를 덜 보내거나, 본 걸 흐리게 만드는" 접근이야. FHE는 성격이 달라. 데이터를 다 보내되 서버가 그걸 읽을 수 없게 만드는 거야. 방향이 완전히 반대고, 그래서 다른 기술들과 겹치지 않고 쌓여.

저장소 상태는 솔직하게 봐야 해. github.com/google/heir는 Apache-2.0 라이선스에 스타 820개, 그리고 README에 "이것은 공식 지원되는 구글 제품이 아닙니다"라는 문구가 붙어 있어. 공식 문서의 시작하기 페이지도 나이틀리 바이너리에 대해 "컴파일러 패스를 테스트하기 위한 것이지 프로덕션 용도가 아니다"라고 명시해. 구글이 이걸 완성품으로 내놓은 게 아니라는 건 구글 본인이 제일 크게 말하고 있어.

HEIR가 실제로 뭘 하는 물건이냐면

핵심 아이디어는 MLIR이야. MLIR은 원래 구글이 만든 컴파일러 인프라인데, 여러 층의 중간 표현(다이얼렉트)을 쌓아서 고수준 코드를 단계적으로 낮춰 가는 구조야. HEIR는 그 위에 동형암호 전용 다이얼렉트를 여러 층으로 얹었어.

논문에 정리된 계층은 이래. 맨 위에 스킴 무관 계층인 secret 다이얼렉트가 있어. 여기서는 아직 어떤 암호 스킴을 쓸지 정하지 않은 채로, 그냥 "이 값은 비밀이다"라는 표시만 붙여. 그 아래에 mgmt(재선형화·모듈러스 감소·부트스트래핑 같은 암호문 관리)와 tensor_ext(회전과 패킹) 계층이 오고, 그다음에 bgv·bfv·ckks·cggi 같은 스킴별 다이얼렉트, 그리고 openfhe·lattigo·tfhe_rust·jaxite 같은 백엔드 코드 생성 다이얼렉트, 맨 아래에 polynomial·mod_arith·rns 같은 저수준 수학 다이얼렉트가 있어.

계층 다이얼렉트 하는 일
스킴 무관 비밀 계산 secret "이 값은 암호화 대상"이라고만 표시, 기존 MLIR 최적화 재사용
스킴 무관 HE 계산 mgmt, tensor_ext, comb 잡음 관리·부트스트래핑 삽입·패킹 배치·불리언 회로
스킴별 bgv, bfv, ckks, cggi, lwe 선택된 암호 스킴의 실제 연산
백엔드 코드 생성 openfhe, lattigo, tfhe_rust, jaxite 실행 가능한 C++·Go·Rust·Python 산출
저수준 수학 polynomial, mod_arith, rns, random 다항식 링 연산·모듈러 산술·잔여수 체계

지원 스킴과 백엔드 조합도 저장소에 표로 정리돼 있어. BGV·BFV·CKKS는 OpenFHE와 Lattigo에서 돌고, CGGI는 tfhe-rs와 Jaxite에서 돌아. 하드웨어 쪽은 벨포트 랩스(Belfort Labs) FPGA, 구글 TPU v6e/Trillium, 인텔 HERACLES, 니오븀(Niobium) BASALISC, 옵탈리시스(Optalysys) 광학 가속기까지 연결돼 있어.

자동화되는 부분이 진짜 핵심이야. HEIR는 자체 최적화 패스 88개와 MLIR에서 물려받은 237개를 갖고 있어. 그중에 재선형화를 어디에 넣을지 혼합정수선형계획법으로 푸는 패스, CKKS 부트스트래핑을 자동 삽입하는 패스, 암호문 패킹 배치를 비용 모델로 고르는 패스, ReLU 같은 비다항 함수를 카라테오도리-페예르 방법으로 다항 근사하는 패스가 있어. 예전에 사람이 논문 읽어 가며 손으로 하던 걸 컴파일러 패스로 만들어 둔 거야.

파라미터 선택도 자동이야. 컴파일러가 계산 그래프 전체를 보고 각 RNS 레벨의 최대 잡음을 분석해서, 모듈러스 스위칭으로 잡음을 리셋할 수 있는 소수 모듈러스를 빡빡하게 고르고, 128비트 보안 파라미터 표를 참조해서 링 차원을 결정해. 라이브러리 API만 쓸 때는 프로그램 전체를 못 보니까 안전 여유를 크게 잡을 수밖에 없는데, 컴파일러는 전체를 보니까 더 조일 수 있어.

입구도 넓혔어. HEIR는 파이썬 프론트엔드를 제공해. 파이썬 바이트코드를 받되 어떤 값이 비밀인지 타입 어노테이션으로 표시하면, 그걸 secret 다이얼렉트로 바꿔줘. 문서에 나온 사용법은 데코레이터 하나 붙이는 수준이고, 호출하면 "입력을 암호화하고, 함수를 실행하고, 복호화된 결과를 돌려준다"고 돼 있어. pip install "heir_py[python,openfhe]"로 설치해. StableHLO 지원도 있어서 학습된 ML 모델을 가져올 수 있고.

그래서 지금 뭐가 되고 뭐가 안 되냐

구글이 이번에 같이 보여준 데모 네 개를 보면 경계선이 꽤 선명해져.

첫째는 딥러닝 추천 모델(DLRM)이야. 벨포트 랩스, LG, 뉴욕대와 함께한 작업이고, "프라이빗 콘텐츠 추천 서비스를 가능하게 한다"고 설명돼 있어. 이 작업의 바탕이 된 HE-LRM 논문에 실제 숫자가 있어. UCI 데이터셋 기반 건강 예측이 단일 스레드 CPU에서 24초, 크리테오(Criteo) 클릭 예측이 228초에서 489초야. 그리고 논문은 "GPU와 ASIC FHE 가속이 종단간 지연을 초 단위, 심지어 1초 미만까지 줄일 수 있다"고 덧붙였고, 임베딩 압축 기법으로 기존 최고 기록 대비 56배 속도 향상을 보고했어.

둘째는 카드 사기 탐지야. 니오븀, 하드셸(hardshell.ai)과 함께 컴파일했어. 셋째는 키츠네(Kitsune) 침입 탐지 시스템인데, 이건 "패킷 내용을 드러내지 않고 서비스 제공자가 이상 징후를 탐지할 수 있게 한다"는 설명이야. 넷째는 핫워드 감지 모델이고, "오디오로 작동하는 AI 에이전트가 녹음의 프라이버시를 보호하면서 호출어를 인식할 수 있게 한다"고 돼 있어.

네 개의 공통점이 보이지. 전부 작고, 구조가 단순하고, 반복 깊이가 얕은 모델이야. 그리고 전부 "결과값이 짧다". 추천 점수 하나, 사기 여부 판정 하나, 이상 징후 플래그 하나, 호출어 여부 하나. 반대로 LLM 추론은 수십 층의 어텐션을 지나 토큰을 하나씩 수백 번 생성하는 구조라, FHE 오버헤드가 그 전 과정에 곱해져. 지금 기술로는 근처에도 못 가.

그래서 현실적인 지형은 이렇게 나뉘어. 지연 예산이 초 단위 이상이고, 모델이 작고, 데이터의 민감도가 극단적으로 높은 워크로드는 지금 FHE로 갈 수 있어. 의료 예측 모델, 금융 사기 스코어링, 생체 데이터 매칭, 광고 없이 도는 개인화 추천 같은 것들이야. 반대로 대화형 응답이 필요하거나, 모델이 크거나, 처리량이 중요한 워크로드는 아직 아니야.

구글도 이 부분을 얼버무리지 않았어. 블로그에 동형암호가 "사소하지 않은 비용 오버헤드"를 가진다고 명시했고, 대신 프레임을 바꿨어. 예전에는 "기능이냐 프라이버시냐"의 선택이었는데 이제는 "비용이냐 프라이버시냐"의 선택이 됐다는 거야. 이건 마케팅 문구가 아니라 실제로 의미 있는 전환이야. 불가능한 일이 비싼 일로 바뀌면, 그때부터는 시간과 하드웨어가 문제를 푸는 영역으로 넘어오거든.

그리고 벤치마크 조건을 잘 봐야 해. 구글이 제시한 지연 수치는 단일 스레드 CPU 기준이야. 이건 가장 보수적인 측정 조건이고, 그래서 정직한 동시에 개선 여지가 크다는 신호이기도 해. GPU 부트스트래핑은 이미 단일 스레드 CPU 대비 수백 배 빠른 수치가 학계에서 보고되고 있고, HEIR가 연결해 둔 전용 가속기들이 바로 그 격차를 노리는 물건이야.

애플과 엔비디아는 완전히 다른 길로 갔어

암호화된 상태로 AI를 돌린다는 목표는 구글만의 것이 아니야. 다만 접근법이 셋으로 갈려.

애플의 프라이빗 클라우드 컴퓨트(PCC) 는 하드웨어 신뢰 모델이야. 2024년 6월에 발표했고, 아이폰의 시큐어 엔클레이브와 시큐어 부트를 그대로 옮긴 자체 실리콘 서버를 쓰면서, 요청 처리 후 데이터를 남기지 않는 무상태 처리, 애플 직원도 접근 불가, 공개 투명성 로그를 통한 검증 가능성을 내걸었어. 강력하지만 전제가 하나 있어. 애플 문서 스스로 인정하듯 처리 중에는 평문 접근이 필요해. 즉 "하드웨어와 그걸 만든 회사를 믿는" 모델이야.

엔비디아의 컨피덴셜 컴퓨팅은 TEE(신뢰실행환경) 접근이야. 호퍼 아키텍처가 컨피덴셜 컴퓨팅을 지원하는 최초의 가속기였고, H100에서 2024년 4월 일반 공급이 시작됐어. AMD SEV-SNP와 인텔 TDX 같은 CPU TEE와 묶여서 워크로드 전체를 격리하고, GPU 신원과 펌웨어 진위를 원격 증명으로 확인해. 성능 손실은 상대적으로 작아. 엔비디아는 대부분의 LLM 추론에서 2~5% 수준이라고 밝히고 있고, 다만 IEEE ICDCS 2025에 실린 독립 측정 논문은 조건에 따라 처리량 차이가 45~70%까지 벌어질 수 있다고 보고했어. 병목은 계산이 아니라 PCIe 구간 암복호화라는 게 공통된 진단이야.

FHE는 신뢰의 전제 자체를 없애. 애플 모델은 애플 하드웨어를 믿어야 하고, 엔비디아 모델은 GPU 펌웨어와 하이퍼바이저 격리를 믿어야 해. TEE는 지금까지 여러 차례 사이드채널 공격으로 우회된 전력이 있어. FHE는 다르게 접근해. 서버가 악의적이어도, 하드웨어가 뚫려도, 메모리를 통째로 덤프해도 나오는 건 암호문뿐이야. 보안 근거가 하드웨어가 아니라 격자 문제의 계산 난이도에 있거든. 덤으로 격자 기반 암호는 양자 컴퓨터에도 내성이 있는 계열이야.

접근 대표 주자 신뢰 전제 성능 손실 지금 LLM 추론 가능?
하드웨어 엔클레이브 애플 PCC 애플 실리콘·투명성 로그 낮음 가능
GPU TEE 엔비디아 H100 GPU 펌웨어·CPU TEE·원격 증명 2~5%(자사) / 조건별 45~70%(독립 측정) 가능
완전동형암호 구글 HEIR 없음(격자 문제 난이도) 100~10,000배 이상 불가능

표를 보면 트레이드오프가 명확해. TEE 진영은 지금 당장 큰 모델을 돌릴 수 있는 대신 누군가를 믿어야 하고, FHE는 아무도 안 믿어도 되는 대신 지금은 작은 모델만 돌아가. 그리고 이 둘은 배타적이지 않아. 실제 배포에서는 민감한 부분만 FHE로 처리하고 지연이 중요한 부분은 TEE나 평문으로 돌리는 하이브리드가 이미 현실적인 패턴이야.

규제가 만드는 수요는 이미 와 있어

기술 얘기만 하면 "그래서 누가 이 비용을 낼 건데"라는 질문이 남아. 답의 상당 부분은 규제야.

EU AI법(Regulation (EU) 2024/1689)의 고위험 AI 시스템 의무가 2026년 8월 2일부터 적용돼. 적합성 평가, 기술 문서, CE 마킹, EU 데이터베이스 등록이 걸려 있어. 여기서 고위험으로 분류된 영역이 뭐냐면 신용 평가, 고용, 교육, 생체인식, 핵심 인프라, 법 집행, 이주 관리야. 그리고 의료기기처럼 EU 제품안전법에 묶인 임베디드 시스템이 따로 있고. 목록을 보면 알겠지만 하나같이 데이터를 밖으로 못 내보내는 영역이야.

GDPR과의 관계도 중요해. AI 시스템 자체는 AI법이, 그 안의 개인정보 처리는 GDPR이 규율해. 고위험 시스템을 배포하는 조직은 GDPR의 DPIA와 AI법의 FRIA를 둘 다 해야 하는 경우가 흔해. 이 이중 부담 앞에서 "서버가 원본 데이터를 구조적으로 볼 수 없다"는 기술적 증명이 있으면 논증이 훨씬 간단해져.

의료와 금융은 이 압력이 가장 직접적인 곳이야. 병원이 외부 AI 진단 서비스를 쓰고 싶어도 환자 데이터를 밖으로 내보내는 순간 규제와 소송 위험이 생겨. 은행이 사기 탐지 모델을 클라우드에서 돌리고 싶어도 거래 원장을 벤더 서버에 올리는 걸 감사팀이 승인해 주지 않아. 지금까지 이런 조직들의 선택지는 "온프레미스로 직접 구축" 아니면 "포기"였어. 구글 데모에 카드 사기 탐지와 건강 예측이 들어간 게 우연이 아니지.

다만 규제가 곧바로 매출이 되진 않아. FHE 도입은 여전히 비용 결정이야. 오버헤드가 100배면 서버 비용도 100배고, 그건 규제 리스크와 저울질할 대상이지 자동 승리가 아니야. 지금 FHE가 먼저 들어갈 자리는 "비싸도 안 하면 사업 자체가 불가능한" 영역, 즉 데이터를 절대 못 주는 고객을 상대하는 B2B 계약일 가능성이 커.

이 판을 표준화하려는 움직임도 같이 굴러

논문에는 눈여겨볼 대목이 하나 더 있어. 하드웨어 완전동형암호 기술 컨소시엄(FHETCH)이 HEIR를 표준화 후보로 "훌륭하다"고 지목했고, 동형암호 표준화 기구(HomomorphicEncryption.org)의 컴파일러 워킹그룹이 이제 HEIR에 집중하고 있다는 거야.

이게 왜 중요하냐면, FHE 생태계의 고질병이 파편화였거든. 스킴마다 라이브러리가 다르고, 라이브러리마다 API가 다르고, 가속기마다 인터페이스가 달라. 이 상태에서는 어떤 최적화 기법이 정말 좋은지 비교조차 안 돼. HEIR 논문이 "HE 문헌의 상당 부분을 HEIR로 이식했다"고 밝힌 것도, 그래야 같은 기준에서 비교가 되기 때문이야.

기존 도구들의 한계도 논문에 명시돼 있어. 구글 자신의 이전 트랜스파일러와 포큐파인(Porcupine)은 탐색 공간을 전수 조사하느라 "적당한 크기의 프로그램을 컴파일하는 데 몇 시간이 걸린다"고 하고, HECO는 루프를 전부 펼쳐야 한다는 제약이 있어. HEIR는 추상화 계층을 나누고 패스를 조합 가능하게 만들어서 이 문제를 피한다는 게 저자들의 주장이야. 현재까지 HEIR를 기반으로 나온 동료 심사 논문이 네 편이고.

컴파일러가 표준 자리를 잡으면 그다음은 하드웨어야. 컴파일러 인터페이스가 고정돼야 가속기 회사들이 뭘 만들지 정할 수 있고, 소프트웨어가 그 가속기를 자동으로 활용할 수 있어. HEIR가 벨포트·니오븀·코나미(Cornami)·옵탈리시스 같은 회사들과 이미 붙어 있는 게 그 신호야. GPU가 CUDA 없이 지금 위치에 못 왔을 거라는 비유가 여기서 완전히 틀리진 않아.

그래서 뭐가 달라지는데

보안·프라이버시 엔지니어에게는 도구함에 새 항목이 하나 늘었어. 지금까지 "이 데이터는 절대 밖으로 못 나갑니다"로 끝나던 대화가 "얼마나 느려도 괜찮으세요"로 바뀔 수 있는 케이스가 생겼거든. 다만 지금 검토할 대상은 초 단위 지연을 감당할 수 있는 작은 모델에 한정돼. 오늘 당장 파일럿을 잡는다면 사기 스코어링이나 이상 탐지처럼 배치로 돌릴 수 있는 워크로드부터야.

ML 엔지니어에게는 진입 장벽이 실제로 낮아졌어. 파이썬 데코레이터로 시작할 수 있고, StableHLO로 학습된 모델을 가져올 수 있어. 다만 모델 구조를 FHE 친화적으로 바꿔야 하는 작업은 여전히 남아. ReLU 같은 비다항 함수는 다항 근사로 대체되고, 근사 차수가 올라가면 곱셈 깊이가 늘고, 깊이가 늘면 부트스트래핑이 붙고, 그게 곧 비용이야. 정확도 손실도 측정해야 하고.

기업 IT와 컴플라이언스 담당자라면 이건 2026년 예산 항목이 아니라 2027~2028년 아키텍처 선택지로 보는 게 맞아. 지금 할 일은 우리 조직의 어떤 워크로드가 "데이터를 못 줘서 못 하고 있는 일"인지 목록을 만들어 두는 거야. 그 목록이 곧 FHE의 첫 후보군이야. EU AI법 고위험 분류에 걸리는 시스템이 있다면 우선순위가 올라가고.

투자자 관점에서는 두 갈래를 보게 돼. 하나는 FHE 전용 가속기 회사들이야. 벨포트, 니오븀, 코나미, 옵탈리시스가 구글 데모에 이름을 올린 건 무의미한 일이 아니야. 컴파일러가 표준화되면 이들의 시장이 실체를 갖거든. 다른 하나는 반대 방향의 리스크야. TEE 진영이 충분히 빠르고 충분히 신뢰받게 되면 FHE가 노리는 시장이 좁아져. 이 경주는 아직 초반이고, 결과를 지금 단정할 근거는 없어.

일반 사용자에게는 당장 체감되는 변화가 없어. 이건 인프라 계층 기술이라 제품으로 나타나려면 시간이 걸려. 다만 방향은 알아둘 만해. 지금 클라우드 AI를 쓸 때 우리가 하는 건 사실상 "이 회사가 내 데이터를 안 볼 거라고 믿는" 거야. FHE가 성숙하면 그 믿음을 수학으로 대체할 수 있어. 믿음과 증명은 다른 물건이고, 그 차이가 언젠가 제품 선택 기준이 될 수도 있어.

암호학 연구자와 학생에게는 진입로가 열린 셈이야. 새 최적화 아이디어를 MLIR 패스 하나로 구현해서 기존 문헌 전체와 같은 벤치마크에서 비교할 수 있어. 조지아텍, 카네기멜런, UC 샌타바버라, 일리노이 공대, 퍼듀, 에든버러대, 칭화대가 이미 협업 목록에 올라 있고, 저장소는 월간 미팅과 오피스아워를 열어 두고 있어.

🥄 남은 궁금증 세 가지

— 그래서 내 챗봇 대화가 암호화되는 거야? 아니, 아직 전혀 아니야. HEIR로 컴파일해서 보여준 건 추천 모델과 사기 탐지기 같은 작은 모델이고, 발표된 지연 수치도 단일 스레드 CPU에서 수십 초에서 수백 초 단위야. LLM 추론은 연산량이 그보다 몇 자릿수 크고, FHE 오버헤드가 그 위에 곱해져. 언제 가능해질지는 단정하기 일러. 가속기 성능과 알고리즘 개선이 얼마나 겹치느냐에 달렸어.

— 그럼 애플이나 엔비디아 방식이 지금은 더 나은 거 아니야? 지금 당장 큰 모델을 돌려야 한다면 그렇지. TEE는 성능 손실이 한 자릿수 퍼센트에서 시작하고, 실제로 프로덕션에서 돌아가고 있어. 대신 하드웨어 제조사와 펌웨어를 믿어야 한다는 전제가 붙어. FHE는 그 전제가 없는 대신 지금은 작은 모델만 감당해. 어느 쪽이 낫냐는 "누구를 믿을 수 있느냐"와 "얼마나 기다릴 수 있느냐"에 따라 갈려. 하나가 다른 하나를 대체하는 구도는 아닐 가능성이 커.

— 구글이 이걸 왜 공짜로 푸는 거야? 공개된 이유는 밝혀지지 않았으니 추정이야. 다만 구조를 보면 짐작은 가능해. FHE는 혼자 쓰면 의미가 없어. 데이터를 맡기는 쪽과 계산하는 쪽이 같은 스킴, 같은 파라미터, 같은 툴체인을 공유해야 하거든. 그리고 이걸 진짜 빠르게 만들려면 전용 하드웨어가 필요한데, 하드웨어 회사들은 표준 인터페이스가 있어야 움직여. Apache-2.0으로 풀고 표준화 기구에 얹는 건 그 판을 만드는 가장 빠른 방법이야. 판이 커지면 그 위에서 클라우드를 파는 회사가 누구일지는 각자 생각해 볼 문제고.

참고 자료

수치는 발표 시점 기준이라 바뀔 수 있어.