Deep Live Cam

Todo o sistema parte de uma única imagem de origem. Não existe treinamento de modelo nem upload de conjunto de fotos, e é por isso que uma ferramenta de troca de rostos desse tamanho consegue rodar num notebook.

O modo Live passa a imagem da câmera pelo trocador e mostra o resultado numa janela de pré-visualização. O primeiro quadro leva alguns segundos, depois a janela se atualiza conforme você se move, e o OBS ou outro capturador parecido pode puxar essa janela para transmitir.

O mapeamento permite atribuir um rosto de origem diferente para cada pessoa que a câmera vê, então duas ou três pessoas no mesmo plano podem carregar identidades separadas ao mesmo tempo. É o recurso por trás de quase todos os clipes em grupo que circulam por aí.

A máscara de boca mantém o movimento real da sua boca enquanto o resto do rosto é substituído. Sem ela, o rosto trocado costuma ficar chapado quando você fala, porque o modelo não sabe o que seus lábios estão fazendo.

A etapa do melhorador afina a região trocada com GFPGAN antes de gravar o quadro. O ganho aparece mais em fontes de baixa resolução e em webcams antigas, e cobra tempo extra de processamento por quadro.

O mesmo código roda em Nvidia CUDA, Apple CoreML, DirectML do Windows, Intel OpenVINO ou CPU pura. Escolher o provedor de execução certo é a diferença entre uma troca de rosto em tempo real fluida e uma apresentação de slides, então confira as flags do README antes de culpar o modelo.