구글 딥마인드, 벡터 검색의 한계 규명… 고급 RAG 오류 유발

오늘날 엔터프라이즈 AI와 검색 증강 생성(RAG) 시스템의 뼈대는 단연 벡터 임베딩입니다. 문서를 고차원 공간의 수치 벡터로 변환한 뒤, 질문과 가장 가까운 문서를 찾아내는 방식은 사실상 업계 표준으로 자리 잡았습니다.

하지만 구글 딥마인드(Google DeepMind)의 최신 연구에 따르면, 현재 널리 쓰이는 단일 벡터 임베딩 방식에는 모델 크기를 키우거나 학습 데이터를 쏟아부어도 해결할 수 없는 근본적인 수학적 한계가 존재합니다.

완벽한 환경에서도 드러난 기하학적 임계점

기존에는 벡터 검색이 빗나갈 때마다 모호한 프롬프트나 언어 모델의 역량 부족 탓으로 돌리곤 했습니다. 딥마인드 연구진은 아키텍처 자체의 태생적 한계를 규명하기 위해 자연어 모델의 개입을 완전히 배제한 이상적인 실험을 설계했습니다.

이른바 '자유 임베딩 최적화'로 불리는 이 실험에서는 언어적 제약을 걷어내고, 벡터 공간의 기하학적 수용 한계만을 측정하기 위해 수치 벡터를 검색 작업에 직접 최적화했습니다. 그야말로 벡터 임베딩이 낼 수 있는 최상의 조건을 만들어준 셈입니다.

그러나 이런 완벽한 시나리오에서도 명확한 붕괴 지점이 확인되었습니다. 주어진 벡터 차원이 무엇이든, 시스템 내 문서가 늘어나고 질문이 요구하는 관련 문서의 조합이 복잡해지면 이를 전부 표현하지 못하는 '임계점'이 필연적으로 발생했습니다. 연구진은 웹 규모의 대규모 검색 환경에서는 아무리 큰 차원을 쓰고 이상적으로 최적화하더라도 모든 문서 조합을 모델링하는 것이 수학적으로 불가능하다고 결론지었습니다.

최신 모델을 무너뜨린 수십 년 전의 알고리즘

기존 벤치마크에서는 이 문제가 잘 드러나지 않았습니다. 예컨대 32만 5천 건의 문서를 다루는 QUEST 데이터셋의 경우 20개 관련 문서의 조합의 수는 71 뒤에 0이 90개나 붙을 만큼 방대하지만, 정작 테스트하는 질문은 3천 개에 불과해 전체 공간의 극히 일부만 건드렸기 때문입니다.

연구진은 이를 검증하기 위해 'LIMIT'이라는 새 데이터셋을 개발했습니다. 지문은 '앨리스는 사과와 바나나를 좋아한다', 질문은 '누가 사과를 좋아하는가?'처럼 직관적이지만, 하나의 문서가 여러 질문에 걸쳐 복잡하게 얽히도록 조합론적 부하를 극대화했습니다.

결과는 처참했습니다. 구글, 스노우플레이크(Snowflake) 등의 최신 임베딩 모델들은 LIMIT 데이터셋에서 크게 고전했으며, 전체 작업 기준 재현율(recall)이 20%를 밑도는 경우도 속출했습니다. 해당 데이터로 파인튜닝을 거쳐도 성능은 거의 오르지 않아 단순 도메인 적응 문제가 아님이 입증되었습니다. 반면 수십 년 전에 개발된 전통 키워드 검색 알고리즘인 BM25는 이 테스트를 가뿐하게 통과하는 반전을 보였습니다.

왜 중요한가

RAG 시스템을 설계하는 개발자와 실무자에게 이번 연구는 단일 벡터 만능주의에서 벗어나야 한다는 직접적인 경고입니다. 단순 유사도 비교를 넘어 임의의 하위 문서 조합을 정밀하게 골라내야 하는 복잡한 지시 기반 작업에서는 고가의 최신 임베딩 모델조차 완전히 길을 잃을 수 있습니다.

우리가 보기에 이번 연구의 뛰어난 점은 모델 튜닝 논쟁을 벗어나 단일 벡터 공간의 기하학적 수용력 한계를 수학적으로 증명해 냈다는 데 있습니다. 복잡한 조건을 처리해야 하는 기업용 지식 기반에서 순수 벡터 검색만 고집하는 것은 태생적인 시한폭탄을 안고 가는 것과 같습니다.

결국 업계의 검색 아키텍처는 단일 벡터 일변도에서 벗어나 BM25 같은 고전적 어휘 검색과 다중 벡터 방식을 결합한 하이브리드 파이프라인으로 회귀할 가능성이 높습니다. 최첨단 AI의 신뢰성을 완성하는 열쇠가 수십 년 된 검증된 고전 알고리즘에 있다는 점은 시사하는 바가 큽니다.