Effects SDK

このSDKは、ライブのWebカメラストリームの背景をぼかし、置き換え、あるいは完全に取り除く。開発者は実行時に自作の画像やアニメーション動画に差し替え、ぼかしの強さをその場で設定できる。さらに、セグメンテーションマスク付きの透明なフレームを返すので、チームはその上に自前の後処理を重ねられる。同社によれば、モデルは実世界の部屋、つまり悪い照明や散らかった壁に合わせて調整されており、スタジオの設営は想定していない。本当に散らかった部屋だ。そこが肝心だ。

自動フレーミングは、顔追跡と動き検出、デジタルズームを組み合わせて話し手を画面内に保つ。あらかじめ決めたズーム倍率で人を追うので、座り直しても被写体は中央にとどまる。パン・チルトカメラは不要だ。会議アプリや録画ツールにとっては、手動調整が減り、物理的なパン・チルトカメラなしで安定した画が得られることを意味する。

このエフェクトは肌をリアルタイムでやわらかくし、質感をなめらかにし、ニキビや目の下のクマの見え方を抑えながら、自然な仕上がりを保つ。これは大事な点だ。なめらかすぎる顔は偽物に見え、通話の信頼感を損ないかねない。要は、プラスチックに見えない美顔だ。照明にやさしい柔らかさを加えるもので、配信者やカメラの前で気後れする人からの定番の要望でもある。処理は十分速く、後処理ではなくライブ映像で動く。

AIノイズ除去は、ザラついたWebカメラ映像からデジタルノイズを取り除く。薄暗い部屋で安価なカメラに出るあのノイズだ。結果は、単純なローパスフィルタが起こすようなぼけのない、よりクリーンでシャープな映像になる。大きな違いだ。ノイズのある映像はクリーンなセグメンテーションを難しくするので、背景エフェクトとも相性がいい。

カラーグレーディングは、色、露出、コントラスト、彩度、色温度を一度に調整し、素朴なWebカメラ映像をより映画的な見た目へと寄せる。狙いは創作的な演出よりも、カメラと照明が間違えた部分を直すことだ。それだけのことだ。会議や配信では、色あせた見た目かプロらしい見た目かの差になる。

Effects SDKはWindows、macOS、iOS、Android、Linux、Webで提供され、WebRTCフローも含む。DirectX、OpenGL、Metalをサポートし、OpenVINO、WinML、CoreMLを使ってGPUで動かせる。これが、CPUだけのパイプラインでは息切れするスマホや安価なノートPCといった低性能端末でも、エフェクトを滑らかに保つ鍵だ。一度作って、映像レイヤーを書き直さずにデスクトップ、モバイル、ブラウザへ出荷するなら、この広さがものを言う。