Phantom

どのタスクも、メニューを探すのではなく、望むことを話すか入力するところから始まる。ディクテーションは短いコマンドも長めの口述メモもカバーするので、メールを声で下書きしてそのまま送れる。入力が遅い人、入力より思考が速い人にとって、これはMacの使用感を変える機能だ。話して先へ進む。

Phantomは、タスクが必要とするときに画面上の内容を読み取る。常時録画ではなくスクリーンショットとアクセシビリティのデータを使う。つまり、目の前のページやウィンドウに対して、テキストをコピーしたりレイアウトを説明したりせずに操作できる。多くの自動化を壊す面倒なやり取りを省ける。プライバシーの面でも効く。公式サイトによれば、起動中のアプリやウィンドウを継続的にリスト化することはなく、コンテキストは送信されたタスクが必要とするときだけ立ち上がる。

Phantomは標準のコントロールを備えたmacOSアプリで動き、接続を選んだ対応サービスでも動く。メールで始まり、カレンダーで続き、書類で終わるタスクを、手順をつなぎ合わせずに処理できる。単一用途のヘルパーが通常つまずく、まさにアプリをまたぐ用事だ。使える操作はアプリ、サービス、与えた権限によって変わる。

Phantomにどれだけの権限を持たせるかはユーザーが選ぶ。観察のみでは、画面の説明と注釈だけができる。制限付きローカルでは、アプリの起動とスクロールはできるが、クリック、入力、ファイル変更は遮断される。自律では、設定した範囲内で操作ごとの確認なしに動ける。日常のアプリやファイルを任せられるようになった多くの人が選ぶモードだ。ポリシーはmacOSの権限や接続サービスのルールを上書きしない。影響範囲の管理はユーザー側に残る。

Phantomにはレシピではなく結果を渡す。手順を並べ、実行し、結果が依頼と合っているかを確認する。この計画の段階が、単なるディクテーションツールとの違いだ。複数の操作を順につなぎ、作業が終わったことを確認できる。多くの音声ツールが飛ばすのが、この検証の部分だ。

Phantomは作業をMacとクラウドに振り分ける。端末側の処理ができる範囲を担い、クラウド側の機能はタスクが使うときだけ動く。トレードオフは容量だ。重いタスクや頻度の高いタスクほどプランのクラウド容量を消費する。だから段階が分かれている。