앤트로픽이 돈을 낸 모델이 실제로 답했는지를 가중치 공개 없이 증명하는 프로토타입을 아파치 2.0으로 풀었다. 다만 짧은 문맥과 정수 가중치, 그리디 디코딩이라는 조건이 붙는다.
FlashProve가 증명하는 것
11월 3일 앤트로픽은 연구 글 'Progress on provable inference for large language models'를 공개했다. 함께 나온 것은 기술 보고서와 프로토콜 명세, 증명 생성기와 검증기 코드, 린(Lean)으로 작성한 증명이다. 라이선스는 아파치 2.0이다.
문제 설정은 이렇다. 이용자가 API에 돈을 내고 답을 받았을 때, 그 답이 정말 광고한 모델에서 나왔는지 확인할 방법이 지금은 없다는 점이 이 연구의 출발점이다. 서비스 업체가 조용히 더 싼 모델로 바꿔치기해도 이용자는 알 수 없다. FlashProve는 이 구멍을 암호학으로 막겠다는 시도다.
방식은 영지식 증명이다. 가중치를 공개하지 않고도, 약속된 가중치 묶음이 이 프롬프트에 정확히 이 토큰들을 내놓았다는 사실만 증명한다. 쓰인 도구는 zkSNARK다.
Anthropic Provable Inference의 두 단계
구조는 두 부분으로 나뉜다. 먼저 가중치에 대한 오프라인 커밋을 만든다. 6.5MB 남짓의 지문 하나이고, 한 번 돌리는 데 약 39분이 걸린다. 이 커밋 하나로 대략 1,600만 건의 요청까지 재사용할 수 있다.
그다음이 온라인 증명인데, 요청마다 증명을 새로 만들되 이미 만들어 둔 커밋 위에서 계산하기 때문에 가중치를 매 요청마다 처음부터 다시 훑을 필요가 없고, 그 덕에 요청당 비용이 커밋 비용과 분리된다. Anthropic Provable Inference라는 표현이 가리키는 것이 이 조합이다.
zkSNARK Inference의 값: 증명 19MB, 검증 17초
측정 무대는 Llama 4 Maverick이다. 4,000억 파라미터 규모의 전문가 혼합 모델이고, 토큰마다 실제 계산에 참여하는 파라미터는 170억 개 안팎이다. 공개된 4비트 가중치를 H100 한 장과 CPU 코어 24개에 올려 돌렸다.
결과는 이렇다. 증명 생성 속도는 초당 약 110토큰이다. 1,024토큰 요청 한 건의 증명 크기는 18.78MB다. 검증은 GPU 없이 일반 CPU에서 24스레드로 17초 걸린다. 단일 스레드로는 21초다.
대가는 있다. 같은 배치를 vLLM으로 그냥 서빙할 때와 비교하면 증명 작업이 GPU당 약 72배 오래 걸린다. 실험 중 가장 높은 부하에서는 94배까지 벌어졌다.
Zero-Knowledge AI 추론이 필요한 이유
이런 비용을 왜 감수하는가? 가장 큰 이유는 모델 바꿔치기다. 라우팅 서비스가 조용히 더 싼 모델을 끼워 넣어도 증명이 없으면 확인할 도리가 없다. 또 하나는 토큰 조작이다. 중간에서 응답 일부를 바꾸면 증명이 깨진다.
규제 쪽 용도도 있다. 승인된 모델만 서비스하라고 요구하는 기관은 가중치를 넘겨받지 않고도 그 조건이 지켜졌는지 확인할 수 있다. 앤트로픽은 여기에 실패의 증명이라는 아이디어도 덧붙였다. 모델이 버그를 찾는 데 최소 몇 토큰을 썼고 아무것도 못 찾았다는 사실을 증명하는 식이다.
FlashProve와 앞선 연구들을 견주면
앤트로픽이 제시한 비교 수치는 이렇다. VerInf는 DGX Spark에서 1,000토큰을 증명하는 데 14.3시간이 걸렸다. 증명 크기는 93.6GB였다. zkLLM은 A100에서 130억 파라미터 모델을 초당 2.5토큰 속도로 처리했다.
상용 시스템인 Attestable은 310억 파라미터의 밀집 모델에서 초당 53~77토큰을 기록했지만 코드는 공개하지 않았다. 세 사례 모두 앤트로픽이 정리한 숫자이고, 독립 검증을 거친 값은 아니다.
FlashProve가 아직 증명하지 못한 것
앤트로픽 스스로 연구용 프로토타입이라고 밝힌다. 증명이 성립하는 범위도 좁아서, 가중치를 정수로 바꾼 버전에 그리디 디코딩을 적용했을 때에만 간신히 맞아떨어지고 샘플링을 쓰거나 부동소수점으로 계산한 응답은 증명과 어긋나 검증에 실패할 수 있다.
전제도 있다. 전문가 혼합 구조를 가정하고, 구조 자체는 숨기지 않는다. 부채널 공격은 검토 범위 밖이고, 문맥은 1,024토큰에서 끊긴다. 빠른 C++ 검증기는 형식 검증을 거치지 않았고, 형식 검증을 마친 린 검증기는 느리다.
형식 검증에도 남은 일이 있는데, 완전성과 건전성, 영지식성은 린으로 기계 검증했지만 그 명제 자체를 사람이 감사해야 한다. 코드가 명세와 같다는 증명은 또 다른 신뢰 문제로 남는다.
앤트로픽의 다른 경로
앤트로픽은 프런티어 안전 로드맵에서 2026년 9월 30일까지 증명 가능한 추론 프로토타입을 내놓겠다고 공개적으로 약속했고, 회사는 이 목표를 추론 트래픽에 서명을 붙이고 신뢰할 수 있는 서버에서 다시 계산하는 별도 프로젝트로 이미 달성했다고 말한다.
FlashProve는 그와 다른 두 번째 길이다. 하드웨어를 믿는 대신 수학을 믿는다. 지금 속도로는 채팅 서비스에 바로 얹기 어렵다. 다음 관심 지점은 1,024토큰 제한을 언제 넘느냐, 그리고 72배 오버헤드를 어디까지 줄이느냐다.






