Doen AI

Doen AIは映像フレームと音声の推論を同時に処理する。だからガイダンスは台本ではなく、カメラの前に実際にあるものを反映する。パネルや故障した部品にスマートフォンを向けると、モデルは理解を更新して応答する。このライブループが製品の中核だ。静的なマニュアルや、文字を打ち込むチャット画面との違いはここにある。

作業の途中で画面を手に持ったりボタンを押したりする必要はない。アプリはハンズフリーAIアシスタントとして動く。各手順を読み上げ、画面上のHUDオーバーレイで対応させ、進むにつれて現在の手順や目標を更新する。レンチを握る、パネルを支えるなど両手がふさがる作業では、このハンズフリー形式が使えるか煩わしいかの分かれ目になる。即時の注意が必要なときは、優先度の高い安全警告も表示する。

Doen AIは、一つの汎用アシスタントではなく、用途別のスキルセットに支援を整理している。空調、自動車修理、電気作業、配管、緊急医療対応、家電修理、大工仕事、精密電子機器の組み立てをカバーする。各モジュールは独自のツール一覧と指示を持ち、配管作業には配管と漏れのガイダンスが、組み立て作業には繊細な部品の順序立った手順が届く。ここでは文脈がものを言う。

このシステムはスマートフォン、ウェブカメラ、スマートグラスで動く。チームは眼鏡が不要だと明言しており、多くの人がすでに持っているスマートフォンでセッションを実行できる。これが参入の敷居を低く保つ。後からウェアラブルを追加しても、同じ視覚分析の仕組みが適用される。初日に新しいハードウェアは要らない。だから入り口のコストは低く抑えつつ、将来より没入感のある構成の余地を残せる。

ガイダンスは手の動きに追いついてこそ役に立つ。Doen AIはリアルタイムの推論を目指して作られ、カメラが見るものと耳に届くものの間の低遅延を狙う。実際には、次の動作を指示されるまで待つ凍りついた間が減るということだ。作業時間がものを言う現場では大きい。アプリは接続断にも、作業の途中で推測させるのではなく、明確なオフライン表示で対応する。