Brilliant Labs
Brilliant Labs Ltd. · 画像
ARGPT for Monocleは、Brilliant LabsのMonocle ARグラスをChatGPTとWhisperにつなぐアプリだ。軽く触れて話しかけると、答えが視界に映る。
Brilliant Labs について
What Is ARGPT for Monocle
ARGPT for Monocleは、Brilliant LabsのスマートグラスMonocleをChatGPTとWhisperに接続するモバイルアプリだ。Monocleの側面に触れて声で質問すると、フレームに留めた小さなディスプレイに返答が出る。グラスを持ち歩いていないときは、普通のチャット画面として単体でも使える。
同社はのちにこのアプリをBrilliantのNoaと改名したが、二つの名前は同じものを指す。GitHubのリポジトリは今もnoa-for-iosとnoa-for-androidのままで、ストアの掲載だけが元のargptという名前を保っている。Brilliant Labsがオープンなハードウェアを公開してきた流れから生まれたもので、両アプリのソースはBSD 3-Clauseライセンスで公開されている。Monocleとの接続がどう動いているかを、そのまま読み解ける。
この体験全体を一つの制約が形づくる。ARGPTはAIを自前では積んでいない。自分でOpenAIのAPIキーを用意し、アプリが音声と質問をOpenAIへ中継し、OpenAIがあなたに直接請求する。おかげでアプリは無料で開かれたままだが、アシスタントの出来は、あなたが金を払うモデルと、手元の回線の質で決まる。
Getting Started
- iOSかAndroidにアプリを入れる。App Storeの掲載名はargpt、Google Playはパッケージxyz.brilliant.argptを使っている。
- OpenAIプラットフォームでAPIキーを取る。請求設定を済ませたアカウントが必要で、Brilliant Labsはカジュアルな用途ならソフト上限5ドル、ハード上限10ドルといった低い利用上限を勧めている。
- アプリを開き、Monocleの電源を入れる。ケースから出すと自動で起き上がり、Bluetoothで発信する。アプリは最も近い個体とペアになる。
- アプリの初回設定を終わらせる。Monocleに必要なPythonスクリプトを送り、ファームウェアとFPGAのバージョンを確認し、遅れていれば更新する。
- 触れて話すか、文字を打つ。Monocle越しに質問を話すか、チャット画面に打ち込めば、答えがディスプレイとアプリに出る。
AIツール情報
Brilliant Labsの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- Monocleを持っている工作好きとアーリーアダプター
- 手を離したままAIアシスタントを連れて歩きたい人
- スマートグラスのAIアシスタントを探している愛好家
- 動く参考実装を求める開発者
タスク
- 手を使わず素早く質問する
- 話し言葉を英語に翻訳する
- 思いつきを文章メッセージに変える
- ファームウェアとスクリプトを最新に保つ
シーン
- レシピを見ながら料理する
- 言葉の通じない土地を旅する
- 自転車や山道で両手がふさがっている
- 美術館やギャラリーに立つ
主な機能
視界の中で話し、読む
中心となる流れは単純で、このアプリの存在理由でもある。Monocleに触れて質問を声に出すと、答えが目の前のディスプレイに現れる。音はグラスからスマホへ渡り、Whisperが文字にし、ChatGPTが返答を書き、スマホがそのテキストを送り返して表示する。身につけた機器が、尋ねて答えを受け取れるハンズフリーのAIアシスタントに変わる。
音声と文字のチャットモード
ARGPTは二通りに使える。Monocle越しなら、あなたの声が入力で、ディスプレイが出力だ。アプリを単体で開けば、普通のChatGPTクライアントとして振る舞い、スマホのキーボードで打ち、画面で会話を読む。2つ目のモードは、グラスを充電しているときや、単に家に置いてきたときに効いてくる。
Whisperで英語に翻訳
設定で翻訳を入れると、アプリはアシスタントから翻訳機に切り替わる。別の言語で何か言えば、Whisperがその仕事をChatGPTに渡さずに英語へ訳す。Whisperが対応する言語ならどれでも覆うので、旅先や、読み解けない看板やメニューを読むのにグラスが役立つ。代償は向きだ。訳は英語に着地し、元の言語へは戻らない。
ファームウェアとスクリプトの自動更新
話しかけられるようになる前に、Monocleには正しいMicroPythonファームウェア、FPGAイメージ、Pythonスクリプトが要る。ARGPTはそれを代わりに読み込む。グラスがつながるたび、アプリはまずファームウェアの版、次にFPGAの版、続いてスクリプトを確かめ、遅れているものを更新する。手作業なら面倒な更新が、ペアリングの一部として片づく。
自分のOpenAIキーを持ち込む
このアプリにサブスクはない。自前のモデルを持たないからだ。OpenAIのAPIキーを貼り付けると、アプリはあなたのアカウントと請求でクエリをOpenAIへ送る。設定メニューで使うGPTモデルを選べるので、速度と能力を自分の判断で取り替えられる。Brilliant Labsは、日常的な使い方が請求を膨らませないよう小さな支出上限を勧めている。
iOSとAndroidでオープンソース
iOSとAndroidの両アプリはBSD 3-ClauseライセンスでGitHubに公開されている。iOS版はSwiftUIプロジェクト、Android版はネイティブで、リポジトリはMonocleが話すBluetoothプロトコルまで説明している。既製のアプリではなく自分のARアプリを作りたいなら、これらはブラックボックスではなく出発点だ。
メリットとデメリット
メリット
- ChatGPTをMonocleの視界に入れるので、答えは手で持つ画面ではなく、手を使わず目の前に現れる。
- Whisper翻訳が多くの話し言葉を英語に覆う。この機能が、海外でグラスを本当に役立つものにする。
- iOSとAndroidの両アプリがオープンソースで、Bluetooth接続もアプリのロジックも読めてフォークできる。
- アプリ自体は無料で、Brilliant LabsはMonocleの当初の発売からずっと先まで維持してきた。
デメリット
- 自分でOpenAIのAPIキーを用意し、利用分をOpenAIに払う必要がある。だから「無料アプリ」は無料のAIを意味しない。
- Monocleのハードウェアがないと完全には動かない。グラスがなければ、どこでも手に入る素のChatGPTクライアントが残るだけだ。
- 翻訳は英語への一方通行なので、英語話者が別の言語で通じるようになる助けにはならない。
- Monocleが送る8ビット8kHzの音声は伝送を軽くするが、ダイナミックレンジを失い背景ノイズを拾う。この点は文字起こしの精度に出る。
よくある質問
ARGPT for Monocleは、Brilliant LabsのMonocle ARグラスをChatGPTとWhisperにつなぐコンパニオンアプリだ。グラスに触れて話すと、視界の中のディスプレイでChatGPTの答えを読める。現在はBrilliantのNoaとして売られているが、ストアの掲載は今もargptの名前を使っている。
関連コンテンツ
Brilliant Labsに関連するツール、スキル、記事を探す。
Brilliant Labsの代替ツール
X Ray Interpreter
X-ray Interpreter · 画像X Ray Interpreter は、X 線、CT、MRI、超音波、PET の画像を平易な言葉のレポートに変えるウェブベースの AI 放射線ツールだ。スキャン画像をアップロードすると、X 線の予備的な読影結果がすぐに返ってくる。説明が必要な箇所があれば、その後で追加の質問もできる。位置づけはセカンドオピニオンと学習の補助であり、医療診断ではない。
Aieasypic
AIEasyPic · 画像AIEasyPicは、単純なテキストプロンプトを数秒で完成したアート作品に変えるAI画像生成ツールだ。自分の写真でカスタムモデルを訓練したり、既存の画像の顔を交換したり、テキストから短い動画クリップを作ったりもできる。すべてブラウザだけで完結する。手早くビジュアルが欲しい気軽なクリエイターにも、コードを一切触らずに個人モデルを作りたい趣味の人にも向く。
Chargen
Chargen · 画像ChargenはDungeons & Dragonsやその他のテーブルトークRPG向けに作られたAIキャラクター生成ツール兼ワールドビルディングツールキットだ。一行のアイデアを描き上げたキャラクター肖像に変え、同じセッションでNPC、モンスター、マップ、遭遇を生み出し、すべてのクリーチャーの詳細を手元に置く。テーブルトークRPGアートの部分はGoldと呼ばれるクレジット制で動き、テキスト生成ツールは誰でも無料のまま使える。