Gemini Omni

Omni는 텍스트, 이미지, 오디오, 영상을 입력으로 받고 영상을 출력한다. 실제로는 사진 한 장과 문장 하나를 주거나 클립에 음성 참조를 덧붙여, 그것들을 함께 다룬다. DeepMind는 이를 계열의 토대로 설명하고, 다른 출력 형식은 나중으로 예고한다.

가장 눈에 띄는 기능은 설명으로 편집하는 것이다. 무엇을 바꿀지 Omni에게 말하면 주변 장면을 일관되게 유지한 채 편집을 적용한다. DeepMind 페이지의 예시에는 물체를 보이지 않게 만들기, 연주자를 다른 장면으로 옮기기, 카메라 각도 바꾸기가 있다. 다시 뽑기와 연출하기의 차이다.

DeepMind는 세계 이해의 도약을 내세우고, 그 예시는 물리적 연속성에 기댄다. 선로를 따라 구르는 구슬, 음악에 맞춰 켜지는 불빛, 장난감과 상호작용하는 손 같은 것이다. 물리가 나아지면 이전 영상 모델을 신기함 이상으로는 쓸 수 없게 만들던, 물체가 녹아내리는 듯한 artifacts가 줄어든다.

참조에서 영상으로 지원은 이미지와 오디오 참조를 넣어 캐릭터가 클립 전체에서 같은 외형과 목소리를 유지하게 한다. DeepMind는 사내 참조에서 영상 벤치마크에서 전체 선호도와 발화 준수에서 앞선 결과를 보고하며, 468개 예시에 대한 사람 평가자를 근거로 든다.

DeepMind는 모호한 주장 대신 비교 데이터를 공개했다. Meta의 벤치마크 MovieGenBench에서 Omni는 1,003개 프롬프트에 걸쳐 전체 선호도와 지시 따르기에서 가장 좋은 성적을 냈다. 이미지에서 영상 벤치마크 VBench에서는 Omni Flash가 Grok-Imagine-Video, Kling과 동률을 이루며 다른 모델을 앞섰다. 수치는 모두 DeepMind 자체 평가에서 나온 것이다.

Gemini 앱, Google Flow, YouTube에서 Omni로 만들거나 편집한 모든 것에는 눈에 보이지 않는 SynthID 워터마크와 C2PA 메타데이터가 들어간다. 이 표시는 대부분의 편집을 견디며, 플랫폼과 시청자가 AI 생성 영상과 카메라 영상을 구분하도록 돕는다.

생성은 무제한이 아니라 크레딧으로 돌아간다. 실사용 보고에 따르면 영상 한 편에 대략 15에서 40 크레딧이 들고 편집 한 차례에 약 40이 들며, 월 $20 Google AI Pro 요금제에 1,000 크레딧이 포함된다. 세게 테스트하면 이 한도는 금방 바닥난다. 1,000 크레딧이 실제로 얼마나 버틸까. 기대만큼은 아니다.