Edit Mind

Edit Mindの核となる約束はシンプルだ。欲しいものを日常の言葉で説明すれば、その瞬間を見つける。料理人が皿に盛り付ける、誰かが机で笑うといったフレーズを打ち込むと、セマンティック動画検索が該当する区間を返す。これが機能するのは、各クリップがベクトルデータベースに埋め込まれ、映像と言葉がクエリと比較できる形になるからだ。

索引化ツールは各動画の音声トラックを文字起こしするので、検索は目に見えるものに限られない。文は覚えているがクリップは思い出せない？ その言葉を検索すればいい。Edit Mindはそれが話されたシーンを示す。文字起こしは、よく知られた音声認識モデルであるWhisperがローカルで担う。

言葉だけでなく、Edit Mindはフレームそのものを調べる。物体検出とテキスト検出を走らせ、顔を認識し、シーンを解析する。だから特定の小道具、人物、舞台を探す検索でも、文字起こしだけでは取りこぼす結果を拾い上げる。こうした信号の混ざり合いが、検索をファイル名のフィルタというより、すべてを見た同僚に尋ねる感覚に近づける。とにかく動く。

処理のどの部分も自分のコンピュータやサーバーで動く。これが設計の要点だ。素材は決してクラウドサービスへ行かないので、機密のインタビュー、未公開のクライアント案件、個人のアーカイブは置いた場所にとどまる。すべてをオフラインに保つ必要があるプロジェクトでは、その制約は最初から組み込まれている。後付けではない。

プロセスを監視する必要はない。バックグラウンドサービスがフォルダを監視し、新しい動画ファイルを自動で解析キューに入れる。監視対象のディレクトリに新しい撮影素材を放り込めば、コマンドを打たなくても拾われて索引化される。素材をまとめて追加するときに本当に時間を節約できる。

Dockerを避けたい人向けに、同じエンジンをmacOSとWindowsの標準インストーラに詰めた商用デスクトップアプリがある。DaVinci ResolveとFinal Cut Proとの直接連携を加え、見つけた瞬間をファイルシステム経由の往復なしに編集へ持ち込める。開発者によれば、デスクトップ版はApple siliconのGPUも活用でき、Docker版にはそれができない。

セルフホスト版はオープンソースで無料だ。ベクトル検索のChromaDBとリレーショナルデータのPostgreSQLを含むスタックで構築されている。壊れた？ コードを読め。issueを立てろ。修正を送れ。開発者は無料のコミュニティ版を終わらせないと述べており、有料アプリはその開発を支えるために存在する。