연구

앤트로픽, LLM 추론을 영지식 증명으로 검증하는 FlashProve 공개

앤트로픽이 돈을 낸 모델이 실제로 답했는지를 가중치 공개 없이 증명하는 프로토타입을 아파치 2.0으로 풀었다. 다만 짧은 문맥과 정수 가중치, 그리디 디코딩이라는 조건이 붙는다.

김민준김민준
인기 지수: 1,050
사슬로 이어진 육각형과 체크 표시가 있는 인디고 방패 추상 이미지

앤트로픽이 돈을 낸 모델이 실제로 답했는지를 가중치 공개 없이 증명하는 프로토타입을 아파치 2.0으로 풀었다. 다만 짧은 문맥과 정수 가중치, 그리디 디코딩이라는 조건이 붙는다.

FlashProve가 증명하는 것

11월 3일 앤트로픽은 연구 글 'Progress on provable inference for large language models'를 공개했다. 함께 나온 것은 기술 보고서와 프로토콜 명세, 증명 생성기와 검증기 코드, 린(Lean)으로 작성한 증명이다. 라이선스는 아파치 2.0이다.

문제 설정은 이렇다. 이용자가 API에 돈을 내고 답을 받았을 때, 그 답이 정말 광고한 모델에서 나왔는지 확인할 방법이 지금은 없다는 점이 이 연구의 출발점이다. 서비스 업체가 조용히 더 싼 모델로 바꿔치기해도 이용자는 알 수 없다. FlashProve는 이 구멍을 암호학으로 막겠다는 시도다.

방식은 영지식 증명이다. 가중치를 공개하지 않고도, 약속된 가중치 묶음이 이 프롬프트에 정확히 이 토큰들을 내놓았다는 사실만 증명한다. 쓰인 도구는 zkSNARK다.

Anthropic Provable Inference의 두 단계

구조는 두 부분으로 나뉜다. 먼저 가중치에 대한 오프라인 커밋을 만든다. 6.5MB 남짓의 지문 하나이고, 한 번 돌리는 데 약 39분이 걸린다. 이 커밋 하나로 대략 1,600만 건의 요청까지 재사용할 수 있다.

그다음이 온라인 증명인데, 요청마다 증명을 새로 만들되 이미 만들어 둔 커밋 위에서 계산하기 때문에 가중치를 매 요청마다 처음부터 다시 훑을 필요가 없고, 그 덕에 요청당 비용이 커밋 비용과 분리된다. Anthropic Provable Inference라는 표현이 가리키는 것이 이 조합이다.

zkSNARK Inference의 값: 증명 19MB, 검증 17초

측정 무대는 Llama 4 Maverick이다. 4,000억 파라미터 규모의 전문가 혼합 모델이고, 토큰마다 실제 계산에 참여하는 파라미터는 170억 개 안팎이다. 공개된 4비트 가중치를 H100 한 장과 CPU 코어 24개에 올려 돌렸다.

결과는 이렇다. 증명 생성 속도는 초당 약 110토큰이다. 1,024토큰 요청 한 건의 증명 크기는 18.78MB다. 검증은 GPU 없이 일반 CPU에서 24스레드로 17초 걸린다. 단일 스레드로는 21초다.

대가는 있다. 같은 배치를 vLLM으로 그냥 서빙할 때와 비교하면 증명 작업이 GPU당 약 72배 오래 걸린다. 실험 중 가장 높은 부하에서는 94배까지 벌어졌다.

Zero-Knowledge AI 추론이 필요한 이유

이런 비용을 왜 감수하는가? 가장 큰 이유는 모델 바꿔치기다. 라우팅 서비스가 조용히 더 싼 모델을 끼워 넣어도 증명이 없으면 확인할 도리가 없다. 또 하나는 토큰 조작이다. 중간에서 응답 일부를 바꾸면 증명이 깨진다.

규제 쪽 용도도 있다. 승인된 모델만 서비스하라고 요구하는 기관은 가중치를 넘겨받지 않고도 그 조건이 지켜졌는지 확인할 수 있다. 앤트로픽은 여기에 실패의 증명이라는 아이디어도 덧붙였다. 모델이 버그를 찾는 데 최소 몇 토큰을 썼고 아무것도 못 찾았다는 사실을 증명하는 식이다.

FlashProve와 앞선 연구들을 견주면

앤트로픽이 제시한 비교 수치는 이렇다. VerInf는 DGX Spark에서 1,000토큰을 증명하는 데 14.3시간이 걸렸다. 증명 크기는 93.6GB였다. zkLLM은 A100에서 130억 파라미터 모델을 초당 2.5토큰 속도로 처리했다.

상용 시스템인 Attestable은 310억 파라미터의 밀집 모델에서 초당 53~77토큰을 기록했지만 코드는 공개하지 않았다. 세 사례 모두 앤트로픽이 정리한 숫자이고, 독립 검증을 거친 값은 아니다.

FlashProve가 아직 증명하지 못한 것

앤트로픽 스스로 연구용 프로토타입이라고 밝힌다. 증명이 성립하는 범위도 좁아서, 가중치를 정수로 바꾼 버전에 그리디 디코딩을 적용했을 때에만 간신히 맞아떨어지고 샘플링을 쓰거나 부동소수점으로 계산한 응답은 증명과 어긋나 검증에 실패할 수 있다.

전제도 있다. 전문가 혼합 구조를 가정하고, 구조 자체는 숨기지 않는다. 부채널 공격은 검토 범위 밖이고, 문맥은 1,024토큰에서 끊긴다. 빠른 C++ 검증기는 형식 검증을 거치지 않았고, 형식 검증을 마친 린 검증기는 느리다.

형식 검증에도 남은 일이 있는데, 완전성과 건전성, 영지식성은 린으로 기계 검증했지만 그 명제 자체를 사람이 감사해야 한다. 코드가 명세와 같다는 증명은 또 다른 신뢰 문제로 남는다.

앤트로픽의 다른 경로

앤트로픽은 프런티어 안전 로드맵에서 2026년 9월 30일까지 증명 가능한 추론 프로토타입을 내놓겠다고 공개적으로 약속했고, 회사는 이 목표를 추론 트래픽에 서명을 붙이고 신뢰할 수 있는 서버에서 다시 계산하는 별도 프로젝트로 이미 달성했다고 말한다.

FlashProve는 그와 다른 두 번째 길이다. 하드웨어를 믿는 대신 수학을 믿는다. 지금 속도로는 채팅 서비스에 바로 얹기 어렵다. 다음 관심 지점은 1,024토큰 제한을 언제 넘느냐, 그리고 72배 오버헤드를 어디까지 줄이느냐다.

이 소식 공유하기

출처

관련 AI 뉴스

수직선과 교차하는 동심 나선 곡선, 선 위에 밝은 점들이 고정된 이미지
연구

Claude가 리만 가설을 증명했다는 주장, 스탠퍼드가 8시간 만에 답했다

리만 가설이 풀렸다는 소식이 아니다. 25만 쪽짜리 형식 증명이 컴파일됐고, 같은 날 사람이 쓴 경쟁 초안이 나왔다.

인기 지수: 1,860
여러 agent 노드가 서버 랙으로 이어지는 경로, 랙에는 열쇠 구멍과 침해 표시가 있다
연구

AI agent가 11분 만에 대학 서버를 뚫었다: Cairn zero-day 사건

공격자가 내린 지시는 "셸 접근 권한을 얻어라" 한 줄이었다. 방법은 AI agent가 골랐고, 성공까지 11분이 걸렸다.

인기 지수: 1,520
한 모델 상자에서 다른 상자로 토큰 블록이 흐르는 깔때기와 일부 흐름을 막는 방패판
연구

OpenAI, 추론 탈취 성공률 54%에서 0.2%로 낮췄다: 남은 것은 업계 문제

OpenAI가 20일 공개한 방어 결과의 핵심은 두 쌍의 숫자다. 이전 요청에서 보호된 추론을 되살리는 공격 성공률은 54.0%에서 0.2%로, 현재 요청에서는 22.9%에서 0.9%로 떨어졌다. 먼저 조건을 붙여야 한다. 공격자 모델 6개를 상대로 한 회사 내부의 적응형 블랙박스 평가다.

인기 지수: 1,420
청록색 격자 무늬와 강조된 사각형 하나, 옆에 Lattice Standard Model 글자
연구

OpenAI, 격자 위 Standard Model 정의 후보안 공개

OpenAI가 11월 15일 올린 설명문은 Standard Model을 격자 위에서 정의하는 후보 구성안을 다룬다. 글쓴이 스스로 "원리상의 답"에 가깝다고 말하는 결과다.

인기 지수: 1,500