CrayEye
Alexandria Redmon · その他 · プロンプト
CrayEyeはiOSとAndroid向けの無料オープンソースアプリ。カメラ画像とセンサーの情報をマルチモーダルAIモデルに送り、自作したプロンプトを共有できる。
CrayEye について
About
CrayEyeとは
CrayEyeはマルチモーダル視覚アプリだ。出発点は単純で、写真一枚だけではAIモデルに渡せる文脈が足りない。そこで緯度、天気予報、現在時刻を毎回のリクエストに添え、画像とプロンプトをモデルへ送る。鳥や上着、レストランのメニューに端末を向ければ、その追加情報を含めた答えが返ってくる。
プロンプトの小さなライブラリと編集画面も入っている。よく使うものはお気に入りに保存でき、リンクで配れる。他人から届いたプロンプトを取り込むことも可能だ。MITライセンスのオープンソースAIアプリなので、コードを読む、自分でビルドする、別のモデルにつなぐ、といった使い方ができる。
制約は現実的だ。CrayEye自体は軽いクライアントにすぎず、回答の質は選んだモデル次第である。内蔵エンジンには1時間あたりの無料リクエスト上限がある。Web版も公開APIもない。
はじめ方
- App StoreかGoogle PlayからCrayEyeを入れ、カメラと位置情報の利用を許可する。
- ライブラリからプロンプトを選ぶか、編集画面で自分で書く。リアルタイムの値が欲しい場所に{location.lat}や{weather.temp}を差し込む。
- 被写体にカメラを向け、プロンプトのボタンを押す。アプリがフレームを取り込み、選択中のエンジンへ送る。
- 回答パネルで結果を読み、プロンプトをお気に入りに保存するか、リンクで共有する。
AIツール情報
CrayEyeの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- スマホで撮るのが好きな人
- 学生やフィールドで学ぶ人
- 視覚プロンプトを試す開発者
タスク
- 植物、鳥、素材の識別
- 料理のカロリー推定
- 色の名前と作品の背景
- 場面からのキーワード抽出
シーン
- 美術館めぐり
- スーパーでの買い物
- ローカルモデルの試用
主な機能
カメラを起点にした分析
カメラ画面がホームであり、奥のタブに隠れていない。AIカメラアプリとしては珍しい作りだ。構図を決めてプロンプトを押せば、数秒で答えが出る。アップロードの手順もギャラリーの探索も要らないため、チャットボットより虫眼鏡に近い感触になる。
センサーとAPIの変数
プロンプトには変数で最新の値を差し込める。{location.lat}と{location.long}が座標、{weather.temp}と{weather.forecast}が天気、{time.datetime}が現在日付を渡す。センサー連携プロンプトこそ本製品の核だ。モデルは自分がどこにいて天気がどうかを踏まえて考えられる。一般的な画像認識アプリにはない動きである。
プロンプト編集とライブラリ
プロンプトはすべて編集できるテキストだ。内蔵のものを複製し、文言を変え、変数を足し、お気に入りに保存する。ライブラリには鳥、植物、色、食べ物、美術、素材、音がそろう。白紙から始めずに済む。
リンクで配れるプロンプト
プロンプトはリンクとして流通する。送った相手のCrayEyeでそのまま開き、すぐ実行できる。アプリはプロンプトのアイデアを交わす小さな社交ツールになる。注目プロンプトのページも同じ仕組みで新作を配っている。
独自エンジンとローカルモデル
既定のエンジンはOpenAIのchat completionsエンドポイントをgpt-4o-miniで呼ぶ。URL、ヘッダー、リクエスト本文、レスポンスのパスを書いたJSON定義を貼れば、別のエンジンを追加できる。READMEにはOllamaとLlavaのつなぎ方が載っており、自分でモデルを動かせばローカル運用も可能だ。
Markdownの回答とストリーミング
回答は生成されながら表示され、Markdownとして描画される。箇条書き、見出し、リンクが読める形で残るため、カロリー表や参考リンクの一覧を返すプロンプトに向く。結果は画面に残るので、カメラが見ているものと見比べられる。
メリットとデメリット
メリット
- 無料で購読不要。MITライセンスなのでコードを読むこともフォークすることもできる。
- センサーの文脈により、写真一枚より具体的なプロンプトになる。場所に依存する質問で差が出る。
- 独自エンジンはホスト型APIとOllama経由のLlavaのようなローカルモデルの両方を扱える。
- ライブラリのプロンプトが実用的で、食べ物、植物、色、催し物にすぐ使える。
- リンク共有により、アイデアを渡す作業が1タップで終わる。
デメリット
- 内蔵エンジンは1時間15リクエストまでで、試用の最中にすぐ尽きる。
- Webアプリも公開APIもなく、入口はスマホだけだ。
- 最終リリースは2024年半ばで、iOS版は同年6月以降機能追加がない。
- プライバシーの説明が薄い。写真は選んだエンジンへ送られ、独自のポリシーは公開されていない。
よくある質問
無料だ。両ストアとも課金はなく、コードはMITライセンスで公開されている。内蔵エンジンには時間あたりの上限があるため、頻繁に使うなら独自エンジンを足すことになる。
関連コンテンツ
CrayEyeに関連するツール、スキル、記事を探す。
CrayEyeの代替ツール
Odyssey 3
Odyssey · その他Odyssey-3はOdysseyの基盤ワールドモデルだ。物理をリアルタイムにシミュレーションし、プロンプトからインタラクティブな環境を生成して、ロボットや車、ゲームに適応する。
JarvisCore
Prescott Data · コーディング · 生産性向上 · その他JarvisCore は、AI エージェントが対等なピアとしてメッシュを組み、共有台帳からタスクを引き受け、ゼロトラストのブローカー経由で外部サービスを呼ぶオープンソースの Python ランタイムである。
Clef
Cloudflare · ビジネス · その他Clef は Workers AI で動く Cloudflare のオープンソース意思決定モデルだ。生成テキストではなく、型付きの設問に確率を返す。エージェントは素早く分類し、振り分け、行動できる。