sync-3

sync-3는 입술을 떼어내는 대신 프레임 전체를 읽는다. 머리가 어디 있고 어느 쪽을 향하며 얼굴 앞에 무엇이 있는지 파악한 뒤, 그 맥락에 맞춰 입의 움직임을 계획한다. 그래서 극단적인 각도 변화와 일부 가려진 얼굴이 예전 립싱크 도구처럼 무너지지 않는다. 단순한 발상, 큰 효과다.

이 모델은 초당 60프레임의 네이티브 4K 영상을 생성한다. 큰 화면이나 고주사율 플랫폼용으로 마무리하는 사람에게, 동기화된 영상이 별도 업스케일 없이도 견딘다는 뜻이다. 흐림도, 물러진 가장자리도 없다. 하위 모델은 훨씬 아래에서 한계가 오므로, 세부가 많은 작업이 sync-3가 값을 하는 지점이다.

손과 마이크, 다른 물체는 늘 얼굴을 가로지른다. sync-3는 가림을 감지하고 문장 중간에 입 일부가 가려져도 입을 그럴듯하게 유지한다. 망가진 테이크가 줄면 수작업 보정도, 작업을 다시 돌리는 시간도 줄어든다.

단체 장면, 여러 명이 나오는 팟캐스트, 어둡거나 역광인 방을 한 번에 처리한다. 모델은 화자를 구별하고 각 입을 올바른 목소리에 묶어 둔다. 이는 클립을 단일 화자 조각으로 자르던 흔한 단계를 없애 준다. 준비가 줄어든다.

단일 REST API가 영화, 팟캐스트, 게임, 애니메이션을 아우른다. 영상과 오디오 트랙을 보내면 동기화된 결과를 돌려받고, SDK와 텍스트 음성 변환, 29개 언어 더빙 같은 파트너 통합도 쓸 수 있다. 모든 소스 유형에서 같은 방식으로 작동하는 립싱크 API다. 개발자에게는 아이디어에서 작동하는 기능까지의 가장 짧은 길이다.

코드를 건드릴 필요가 없다. sync-3는 sync. 웹 스튜디오에서 돌아가고, Adobe Premiere용 공식 플러그인과 ComfyUI 노드가 있다. 편집자는 기존 파이프라인을 유지하고, 모델은 이미 작업하는 곳에 들어간다. 프런트엔드를 만들고 싶지 않다면 반갑다.