구글이 10월 28일 새 최상위 모델 제미나이 4 카본을 공개했다. 성적표에서는 1위지만, 지금 이 모델을 직접 만져볼 수 있는 사람은 극소수다.
제미나이 4 카본이 받은 점수
구글 딥마인드는 10월 28일 제미나이 4 카본을 내놨다. 회사는 이 모델을 "가장 강한 프런티어 모델"이라고 소개했다. 프런티어 모델은 각 회사가 맨 앞에 세우는 최상위 모델을 가리키는 업계 용어다. 이번 발표의 중심축은 두 가지다. 사이버 보안과, 몇 시간에서 며칠까지 이어지는 자율 작업이다. 공식 블로그에는 구글 딥마인드 수석부사장이자 구글 최고 AI 아키텍트인 코레이 카부크추올루가 이름을 올렸다.
성적표는 회사가 직접 공개했다. 보안 쪽 세 시험의 숫자를 먼저 보자.
시험 | 재는 것 | 구글이 밝힌 점수 |
|---|---|---|
SEC-bench Pro | 실제 소프트웨어에 숨은 보안 결함 찾기 | 88.2% |
ExploitGym | 찾아낸 결함이 실제 공격에 뚫리는지 검증 | 54.8% |
CWE-bench | 결함을 고치는 코드 작성 | 71.0% |
벤치마크는 여러 모델에 같은 문제를 풀게 하고 점수를 비교하는 표준화된 시험이다. 구글은 자사가 공개한 17개 항목 가운데 15개에서 카본이 가장 높은 점수를 받았다고 밝혔다. 전부 1위는 아니다. 소프트웨어 엔지니어링 시험 한 항목에서는 오픈AI가, 컴퓨터 조작 평가 한 항목에서는 앤스로픽이 앞섰다.
바깥 평가도 같은 방향을 가리킨다. 인공지능 모델 평가 기관 아티피셜 애널리시스의 인텔리전스 인덱스 5.0에서 카본은 고성능 추론 설정으로 59점을 받아 1위에 올랐다. 앤스로픽 클로드 오푸스 5.5가 58점으로 뒤를 이었다. 오픈AI GPT-6 아스트라는 57점, 직전 모델인 아르곤은 50점이다. 이 지수는 추론과 코딩, 과학 문제 풀이 점수를 묶어 하나로 만든다.
보안 시험이 재는 세 가지
세 시험은 보안 업무의 순서를 그대로 따라간다. 먼저 찾고, 다음에 뚫리는지 확인하고, 마지막에 고친다. 찾기만 잘해서는 방어가 되지 않는다. 결함 후보 수백 개 가운데 실제로 위험한 것을 골라내야 고칠 순서를 정할 수 있고, 고치는 코드가 틀리면 패치가 새로운 구멍을 만든다.
익스플로이트짐 점수가 낮아 보이는 이유도 여기에 있다. 이 시험은 취약점을 실제로 공격해 보는 단계라 만점에 가까운 점수가 나오기 어렵다. 카본은 이 항목에서 54.8%를 기록했다.
페어윈드 프로그램, 먼저 쥐여준 곳은 보안팀이다
카본은 당분간 아무나 쓸 수 없다. 구글은 첫 단계로 페어윈드 프로그램에 속한 사이버 보안 방어 담당자에게만 모델을 열었다. 페어윈드 프로그램은 구글이 신뢰할 수 있는 기관을 골라 먼저 붙여 보는 별도 트랙이다.
개발자와 기업, 일반 소비자는 기다려야 한다. 그렇다면 언제 일반에 풀릴까? 구글은 피드백을 모으고 안전장치를 다듬은 뒤 "가능한 한 빨리" 넓히겠다고 했지만 날짜는 붙이지 않았다. 앞선 모델인 제미나이 4 아르곤도 9월 30일 처음 나올 때 같은 방식으로 페어윈드 파트너에게 먼저 갔다. 아르곤이 일반에 열린 것은 10월 13일이고, 카본은 그로부터 15일 만에 나왔다.
값은 아르곤과 같은 선에서 시작한다
제미나이 API 기준 가격은 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러다. 토큰은 모델이 글을 읽고 쓰는 최소 단위로, 영어 단어 하나가 대략 1~2토큰에 해당한다. 캐시에 남아 있는 입력에는 95% 할인이 붙는다. 입력 단가 2달러가 20분의 1로 줄어드는 셈이다.
여기서 끝이 아니다. 각주에는 이후 가격이 입력 4달러, 출력 20달러로 적혀 있다. 다만 이 가격이 언제부터 적용되는지, 프로모션이 언제 끝나는지는 밝히지 않았다. 아르곤도 같은 구조로 출시됐고, 아르곤의 프로모션은 11월 30일까지다.
제미나이 4 카본이 겨냥한 며칠짜리 작업
구글은 내부 팀이 카본을 며칠 동안 계속 돌려봤다고 설명한다. 큰 코드베이스에서 버그 원인을 추적하고, 실패한 접근을 다른 방법으로 우회하고, 그렇게 만든 패치를 내놓는 식이다. 한 번 답하고 끝나는 챗봇과는 쓰임이 다르다.
구글의 코딩 에이전트 제품 안티그래비티를 이끄는 바룬 모한은 내부에서 가장 어려운 과제에 카본을 쓴다고 밝혔다. 그는 윈드서프의 전 CEO다. 접근 경로도 같은 순서를 따른다. 페어윈드를 통해 먼저 넓히고, 이후 안티그래비티가 열리면서 함께 풀린다는 구상이다.
카본이 밝히지 않은 것들
기술 보고서는 없다. 매개변수 규모도, 새 구조를 썼는지도 밝히지 않았다. 회사가 성적표를 골라 내놓은 만큼 바깥의 검증도 아직 없다. 독립 테스트에서는 카본이 코딩과 지식 업무에서 아르곤보다 확실히 강했지만, 일부 전문 업무에서는 경쟁 모델에 뒤졌고 사실 지식 시험의 환각률은 아르곤보다 높았다.
API 사양도 확인되지 않았다. 아르곤 문서에는 공유 문맥 100만 토큰 초과, 기본 출력 상한 6만 5536토큰, 텍스트와 이미지, 영상, 음성, PDF 입력, 함수 호출과 코드 실행, 구조화된 출력이 적혀 있다. 카본 발표문에는 이에 대응하는 내용이 없어 그대로 이어지는지 알 수 없다.
당장 확인할 수 있는 것은 성적표와 가격표뿐이다. 보안팀에 속해 있거나 페어윈드 파트너와 일한다면 접근 신청을 먼저 넣어볼 만하다. 그 밖의 사용자는 공개 일정이 나올 때까지 아르곤으로 같은 작업을 돌려보고, 값과 한도가 어떻게 달라지는지 비교해 두는 편이 낫다.
