Webcam Motion Capture

이 VTuber 트래킹 소프트웨어를 찾는 이유는 대개 손이다. 웹캠 모션 캡처의 핵심이 손 추적이다. 일반 웹캠에서 손가락 위치를 읽기 때문에 장갑도, 깊이 센서도 없이 손을 흔들고 가리키고 작은 제스처를 만들 수 있다. 빠른 움직임도 버틴다고 제공사는 설명하며, 팔꿈치와 팔뚝이 화면에 보일 때 결과가 눈에 띄게 좋아진다.

얼굴 추적은 머리 회전만 다루지 않고 표정, 시선, 눈 깜빡임을 읽고 아이폰과 아이패드 얼굴 추적 앱이 쓰는 Perfect Sync 형식도 알아본다. 그런 폰을 이미 갖고 있다면 데스크톱 앱과 연결해 웹캠만 쓸 때보다 훨씬 풍부한 표정을 얻는다.

어깨와 몸통 움직임이 손과 함께 들어와서 긴 방송에서도 아바타가 뻣뻣해 보이지 않는다. 얼굴만 다루는 도구와 갈라지는 지점이 여기이고, 조명이 떨어질 때 가장 먼저 무너지는 부분도 여기다.

추적 데이터를 VMC protocol을 지원하는 앱으로 보낼 수 있다. VSeeFace, Virtual Motion Capture, 무료 Unity·Unreal 플러그인을 거치는 게임 엔진이 대상이다. 기존 아바타 소프트웨어를 대체하는 게 아니라 거기에 더해지는 구조다.

FBX 내보내기를 하려면 세션을 녹화해 FBX로 저장하면 되고, Blender, Maya, 3ds Max에서 열린다. 개인 애니메이터에게는 참고 동작을 싸게 뽑는 방법이고, 결과물은 완성된 애니메이션처럼 보이려면 다듬는 과정이 필요하다.

리시버는 VRoid Studio로 만든 캐릭터를 포함해 표준 VRM 파일을 불러오고, 커스텀 셰이더가 붙은 VRChat 아바타도 그대로 다룬다. 피부색, 외곽선, 툰 셰이딩이 불러온 뒤에도 남아서 VRChat에서 보던 모습이 유지된다.

추적 기능은 구독 없이 전부 돌아간다. 결제하면 방송과 영상 촬영을 위해 화면 요소를 숨길 수 있고, VMC protocol이나 FBX로 외부 앱에 데이터를 넘길 수 있다. 추천 프로그램을 쓰면 새 사용자가 내 코드로 구독할 때마다 한 달이 무료로 붙는다.