구글 딥마인드 'Vision Banana' — 단일 모델이 5개 전문 모델을 한 번에 추월

5 → 1

5개 모델을 1개로. 자율주행 회사가 객체 탐지에 한 모델, 차선 세그멘테이션에 다른 모델, 거리 깊이에 또 다른 모델을 돌리던 시절이 끝나가. Vision Banana는 한 백본으로 그 다섯을 다 돌리고, 각 작업의 전문 모델을 동시에 추월해.

5년 전만 해도 이 문장은 '비전계의 GPT-3'를 약속하던 마케팅 선언처럼 들렸어. 그동안 ImageNet 백본, ConvNeXt, Vision Transformer가 차례로 그 자리를 노렸고, 매번 "특정 작업에선 좋은데 모든 작업에 우월하진 않다"는 평가에 막혔어. 4월 말 Vision Banana는 그 벽을 처음으로 넘었다는 보고서를 들고 나왔어.

무엇을 발표했나

Vision Banana는 이름 그대로 "노란색 단일 모델"을 컨셉으로 가져갔어. 5개 비전 작업에서 동시에 SOTA를 갖는다는 것이 핵심 주장이고, 그게 정말로 가능한지가 학계의 관심사야. 표로 보자.

작업	기존 SOTA 전문 모델	Vision Banana	차이
객체 탐지	DETR-X	Vision Banana	동등 또는 +1.2 mAP
세그멘테이션	SAM 2.5	Vision Banana	동등 또는 +0.8 IoU
깊이 추정	DepthAnything-V3	Vision Banana	동등 또는 +1.5% rel error
자세 추정	ViTPose-G	Vision Banana	동등 또는 +0.6 AP
OCR	PaliGemma-OCR	Vision Banana	동등 또는 +1.0 CER

각 셀의 숫자는 추정치(공식 발표 백서 미공개 시점)지만, 핵심 메시지는 동일해. 다섯 작업 모두에서 전문 모델 대비 동등 이상이고, 그중 일부는 더 나아. 게다가 학습 시 본 적 없는 도메인(예: 의료영상의 특정 모달리티, 공장 자동화의 특정 부품 카테고리)에 대해서도 zero-shot으로 엘리트 수준의 성능을 보였다는 점이 가장 무거운 발견이야.

등장 배경 — 비전 파편화의 비용

Demis Hassabis(Google DeepMind CEO)는 발표 글에서 "Specialists were a placeholder. Generalists are the answer."라고 정리했어. 이 한 줄은 컴퓨터 비전 산업의 역사를 압축한 거야.

지난 10년 동안 자율주행·로봇·의료영상·산업검사·소매·보안 등 모든 비전 응용은 "작업당 모델 한 개"로 갔어. 자율주행 회사 한 곳이 보통 12-15개 전문 모델을 동시에 돌렸고, 각 모델의 라벨링·튜닝·배포·모니터링이 별도 파이프라인이었어. 이 파편화는 단순 비용 문제가 아니라 안전 문제로도 이어졌어 — 모델 간 일관성이 깨지면 객체 탐지와 깊이 추정이 서로 다른 답을 내고, 의사결정 알고리즘이 그 충돌을 처리해야 했어.

Vision Banana가 약속하는 건 다른 그림이야. 단일 백본 + 작업별 어댑터 또는 프롬프트로, 같은 표현 공간 위에서 다섯 작업이 동시에 돌아가. 객체 탐지와 깊이 추정의 답이 같은 representation을 공유하기 때문에 충돌 가능성이 줄어. 운영 비용 측면에서도 5개 모델 운영 → 1개 모델 운영으로 줄면 추론 인프라·라벨링 파이프라인·MLOps 인력이 압축돼.

같은 주의 대조 — Centaur 패턴 암기 비판

흥미로운 대조가 있어. 같은 주(4월 29일) ScienceDaily가 Centaur 모델 비판 논문을 게재했어. Centaur는 160개 인지 과제에서 인간처럼 사고한다고 화제를 모았는데, 새 연구는 그게 사실은 학습 데이터 패턴 암기에 의존한다고 지적했어. "AI 일반화 능력의 환상"이라는 비판이 인지·언어 모델 쪽에서 일어나는 같은 주, 비전은 진짜 일반화에 한 발 더 다가섰다는 대조 구도가 만들어졌어.

이건 단순한 우연이 아니야. 비전과 언어의 일반화 능력은 학습 신호의 풍부함과 평가 데이터의 분포 차이 때문에 다른 곡선을 그려. 비전은 ImageNet에서 시작해 LAION-5B, Datacomp 같은 거대 multimodal 데이터셋으로 확장되면서 "이미지의 진짜 분포"에 가까워졌어. 반면 인지·언어는 평가가 어렵고, 평가 자체가 train set에 누설되는 일이 빈번해.

경쟁 — Meta·Apple·OpenAI는 어떻게 답하나

회사	비전 전략	위치
Google DeepMind	통합 백본 (Vision Banana)	선두
Meta	DINOv3 + Segment Anything 3	분리 모델, 통합 진행 중
OpenAI	GPT-Vision-V2 (멀티모달 LLM 통합)	LLM 통합형, 전문 작업은 약함
Apple	Apple Intelligence Vision	디바이스 내 추론 우선
Anthropic	Claude Vision	LLM 통합형

Meta는 DINOv3·SAM 3로 강하지만 통합 모델이 아니야. OpenAI·Anthropic은 LLM에 비전 능력을 붙이는 접근이라 자율주행·로봇 같은 실시간 추론 응용엔 부적합. Apple은 디바이스 내 추론에 강점이지만 클라우드 SOTA는 아님. 결과적으로 Vision Banana가 약속하는 "단일 모델 SOTA + zero-shot"은 자율주행·로봇·의료영상·산업검사 같은 B2B 비전 시장에서 가장 강한 경쟁력을 가져.

스테이크

• Wins: Google DeepMind — 비전 파운데이션 모델 카테고리 1등 자리 굳히기. Waymo·Wing 등 그룹 내 활용도 즉시.
• Wins: 자율주행/로봇 회사 — 5개 모델 운영 → 1개로 압축할 수 있다면 추론 비용·라벨링 비용 30-50% 감소 가능성.
• Loses: 비전 전문 스타트업(객체 탐지·세그멘테이션 단일 도메인) — 카테고리 자체가 사라질 위험.
• Loses: Meta·OpenAI 비전 팀 — 통합 백본 대응 일정 가속화 필요.
• Watching: NVIDIA — 비전 추론 워크로드의 단일 모델화는 칩 수요 패턴 변화. 멀티 모델 GPU 점유 → 단일 모델 대용량 추론 패턴 전환 가능성.

회의적 시각

Yann LeCun (Meta AI 수석 → AMI Labs CEO): "Benchmarks aren't generalization. Show me the long tail." — 5개 작업 SOTA가 실제 산업 long tail에서도 동일한지 검증 필요하다는 입장. AMI Labs를 막 시작한 LeCun은 "World Models" 노선이 비전·세계 이해의 진짜 답이라는 입장을 강하게 들고 있어.

또 다른 회의는 평가 누설(evaluation leakage). Vision Banana의 학습 데이터 규모가 공개되지 않았기 때문에, "본 적 없는 데이터셋"이라는 주장이 진짜로 unseen인지에 대한 의문이 제기돼. 학계는 외부 평가 벤치(MMVET-2, OOD-Vision-Bench)에서의 결과를 기다리는 중.

그래서 뭐가 달라지는데

• 개발자: 자율주행·로봇·의료영상 분야면 5개 모델 → 1개로 합치는 PoC를 6월 안에 시작. 라벨링 파이프라인을 단일 백본 어댑터 모델로 재구성.
• PM/창업자: 비전 전문 스타트업이면 "통합 모델 위의 어댑터" 또는 "특정 도메인 fine-tune"으로 포지션 재정의 필요. "객체 탐지 SDK" 사업은 위험.
• 투자자: 비전 전문 스타트업의 멀티플 재평가 시점. SAM·DINO 의존 회사들의 실적 가이던스 보수화 가능성.
• 연구자: zero-shot 평가 벤치마크의 누설 검증 절차 강화. OOD-Vision-Bench 같은 외부 평가에서의 결과가 진짜 일반화의 증거.

내일 아침에 할 것

• 개발자: Vision Banana API/모델 공개 일정 확인. Hugging Face/공식 블로그 모니터링. 공개 시 자체 데이터 100장으로 zero-shot 1차 평가 실행.
• PM: 우리 제품의 비전 파이프라인이 5개 모델을 쓰는지, 통합 백본으로 압축 가능한지 1차 분석. 추론 비용 절감 시뮬레이션.
• 연구자: 5월 중 외부 평가 벤치 결과 발표 모니터링. 진짜 일반화 vs 평가 누설 구분 위한 연구 설계 검토.
• 투자자: 비전 전문 스타트업(SAM 의존, DINO 의존, 객체 탐지 단일 도메인) 라운드 멀티플 5월 말까지 재평가.

참고 자료

• Crescendo AI News (1차 자료)
• Google DeepMind blog: Vision Banana
• VentureBeat: One model to rule them all
• The Verge: Google's universal vision model
• Hacker News discussion