앤트로픽, LLM 추론 위변조 방지하는 '플래시프루브' 오픈소스 공개

사람과 마주 앉아 대화할 때는 얼굴을 보고 목소리를 듣는 것만으로도 상대방이 누구인지 쉽게 확인할 수 있습니다.

하지만 API로 AI 모델과 대화할 때는 화면 너머의 답변이 내가 요청한 모델에서 나온 것인지, 아니면 중계 업체가 비용을 아끼려고 몰래 저가 모델로 바꿔치기한 것인지 검증할 방법이 사실상 없습니다.

앤트로픽이 대규모 언어 모델의 추론 결과를 암호학적으로 증명할 수 있는 오픈소스 시스템 '플래시프루브(FlashProve)'를 공개했습니다.

플래시프루브는 영지식증명 기술의 일종인 zkSNARK를 기반으로 동작합니다. 모델 서비스 제공업체가 가중치에 대한 고유 식별값을 미리 공개하고, 답변을 내놓을 때마다 수학적 증명서를 함께 전달하는 구조입니다.

검증자는 모델의 비밀 가중치를 전혀 보지 않고도, 일반 개인용 컴퓨터 CPU에서 단 몇 초 만에 해당 응답의 진위를 확인할 수 있습니다.

핵심 자산 감추고 추론 결과만 깔끔하게 입증하기

그동안 LLM 추론 검증이 어려웠던 가장 큰 이유는 모델 가중치가 기업의 핵심 영업비밀인 데다, 사용자가 이를 직접 실행해 대조하기에는 막대한 연산 비용이 들기 때문이었습니다.

플래시프루브는 모델의 신경망 구조는 공유하되, 영지식증명의 은닉 특성을 활용해 구체적인 가중치 파라미터는 단 하나도 외부에 노출하지 않습니다.

앤트로픽은 4000억 개 파라미터를 가진 MoE 모델 'Llama 4 Maverick'을 단일 엔비디아 H100 GPU에서 실행하며 실용성을 입증했습니다.

4비트 양자화와 1024 토큰 컨텍스트 조건에서 초당 약 110토큰 속도로 증명을 생성했으며, 1회 요청당 증명 데이터 크기는 약 19MB 수준입니다.

물론 암호학적 신뢰를 확보하는 데는 대가가 따릅니다. 증명을 생성하는 데 드는 GPU 시간은 vLLM 같은 범용 라이브러리로 순수 추론을 돌릴 때보다 70배에서 95배가량 더 소요됩니다.

하지만 이는 기존의 오픈소스 영지식 추론 시스템들과 비교하면 수십 배에서 수백 배 이상 단축된 수치입니다.

보안 신뢰성을 보장하기 위해 앤트로픽은 EPFL, MIT 연구진과 협력하여 정형 검증 언어인 Lean 4로 시스템의 수학적 건전성을 엄밀하게 증명했습니다.

저가 모델 바꿔치기와 AI의 눈속임 차단

이 시스템은 단순히 API 리셀러의 꼼수를 잡는 것에 그치지 않고 AI 안전 전반의 난제를 겨냥합니다.

출시 전후로 모델을 점검하는 독립 평가 기관은 자신들이 테스트하는 시스템이 실제 사용자에게 배포되는 모델과 정확히 일치하는지 확인할 수 있습니다.

서버 해킹이나 출력 변조 방지에도 유용합니다. 해커가 추론 서버를 장악해 악성 코드를 주입하더라도, 증명 검증 과정에서 즉시 오류가 발생해 들통나게 됩니다.

미래에 고도화된 자율 AI가 엄격한 안전 감시를 피하려고 스스로를 성능이 낮은 모델인 것처럼 꾸미는 '능력 숨기기' 시도 역시 완벽하게 차단할 수 있습니다.

특정 데이터센터가 새로운 프론티어 모델을 비밀리에 학습하는 대신 합의된 추론 업무에만 그래픽카드를 투입하고 있는지 규제 당국이 감시하는 용도로도 활용 가능합니다.

왜 중요한가

플래시프루브는 깃허브에 추가 유지보수가 없는 연구용 프로토타입으로 올라왔지만, 검증 가능한 AI 추론을 이론에서 현실로 끌어내린 중요한 분기점이라고 봅니다.

일반 소비자가 단순한 대화나 검색을 위해 70배가 넘는 연산 비용을 지불할 이유는 없습니다. 하지만 취약점 점검, 법률 계약 검토, 의료 진단 지원처럼 출력의 무결성이 치명적인 고위험 영역에서는 암호학적으로 입증된 출력이 필수 요구사항이 될 수 있습니다.

업계 관점에서는 비싼 모델을 호출하는 척하면서 뒤로는 저렴한 증류 모델을 끼워 팔던 불투명한 라우팅 서비스들이 설 자리를 잃게 만들 것입니다.

흥미로운 대목은 앤트로픽이 시스템 최적화와 프로토콜 설계 과정에 클로드(Claude)를 적극 투입했다는 점입니다. AI가 작성한 복잡한 구조를 인간이 신뢰하기 어렵다는 문제를 풀기 위해 Lean 4 정형 증명을 도입했다는 사실은 향후 고신뢰 AI 엔지니어링이 나아갈 방향을 명확히 보여줍니다.

비용 문제로 당장 전면 상용화되기는 어렵겠지만, 기업의 지식재산권을 침해하지 않으면서도 AI의 투명성을 완벽하게 증명할 수 있음을 확인해 준 의미 있는 시도입니다.