Caesr AI
AskUI GmbH · 生産性向上
Caesr AIは、コンピュータを操作するエージェントだ。人がするのと同じように実際の画面でタスクを実行する。画面に映っているものを見て、マウスを動かし、キーボードで入力し、現れたもの次第でクリックしていく。生まれたのはドイツのカールスルーエにあるAskUI GmbHで、同じエンジンは今、デスクトップ、ウェブ、モバイル、組み込みの各画面にまたがってソフトウェアを検証・運用する必要があるデリバリーチームに届いている。タスクを自然言語で書けば、エージェントがそれを実行する。背後のコードにフックを仕込む必要も、APIも要らない。
Caesr AI について
Caesr AIとは
Caesr AIは、連携機能ではなく画面そのものを通して動くように作られたAI自動化エージェントだ。自動化ツールのほとんどはAPIやスクリプト、記録した操作経路を必要とし、画面が変わった瞬間に壊れる。Caesr AIは別の道を行く。スクリーンショットを撮り、次に何をすべきか考え、実行する。ポップアップや遅い読み込み、想定外の状態で実行が脱線しないのは、壊れるべき固定の経路が存在しないからだ。
製品は2021年にドイツのカールスルーエで設立されたAskUI GmbHから生まれた。着想はカールスルーエ工科大学のコンピュータビジョンの講義で始まった。創業者たちは単純な疑問を抱いた。手動テスターが画面を見て作業するなら、ソフトウェアにも同じことができないか。この原則は今もプラットフォームを形づくり、チームが一度もコードを書いていない画面までひとつの実行環境で覆える理由でもある。
最大の制約は入手しづらさだ。Caesr AIは営業主導で販売される。料金は範囲を確認する打ち合わせの後に組織ごとに見積もられ、セルフサービスでの購入はなく、席あたりの公開価格もない。試したい場合はトライアルを申し込み、自社の環境、自社のマシンで動かす。ちょっと触ってみたいだけの利用者には、この手間は重い。
はじめ方
- ウェブサイトからトライアルを申し込む。その後、チームと範囲を合意する。どの対象に対して実行するか、エージェントをどこに配備するかだ。
- WindowsまたはmacOSにAskUI Desktopをインストールするか、パイプラインやスケジュールされたマシンでのヘッドレス実行向けにCLIを準備する。
- サインインし、オンボーディングウィザードに権限と最初のプロジェクトを設定させる。
- 平易なMarkdownでタスクを書く。手順と期待する結果を記し、コードと一緒にバージョン管理しておく。
- 接続したデバイスに対してタスクを実行し、エージェントが踏んだすべての手順を読み返す。実行ごとにスクリーンショットと記録が付く。
AIツール情報
Caesr AIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- QAとデリバリーのチーム。範囲を定めたトライアルとセットアップに応じられるなら、エージェントは壊れやすい記録済みスクリプトを、刷新に耐えるタスクに置き換える。
- ドキュメント担当と運用担当。フローを一度たどればエージェントが再実行し、手順ごとにスクリーンショットが付くので引き継ぎメモになる。対象マシンは到達可能であればよい。
- 規制業種の企業IT。オンプレミスやエアギャップの配備ならスクリーンショットを自社ネットワーク内に留められる。ただしEnterpriseプランが必要だ。
タスク
- 複数画面にまたがるリグレッションテスト。ひとつの実行環境でデスクトップ、ウェブ、モバイル、組み込みの各画面を覆うので、同じテストをプラットフォームごとに作り直さなくて済む。
- 定常フローのスモークテスト。ログイン、再生、購入の短い確認をスケジュールで回し、実行ごとにレポートを受け取る。
- 公開前の画面検証。データを外部クラウドに送らずに、コックピット画面や患者記録をテストする。
- 引き継ぎ時のワークフロー記録。手書きでガイドを書く代わりに、エージェントが実行する各手順を記録する。
シーン
- UI変更を頻繁に出し、古い自動化が壊れ続けるデリバリーチーム。自然言語で書いたタスクはレイアウトが変わっても有効だ。
- 片隅のマシンでの週次スモーク実行。CLIは表示なしのヘッドレスで動き、終了コードとレポートを返す。
- スクリーンショットをネットワーク外に出せない規制環境。すでに自社でホストするモデルにエージェントを向けるか、モデルを載せたアプライアンスを選ぶ。
主な機能
画面を読んでコンピュータを操作するエージェント
Caesr AIはスクリーンショットだけで動く。エージェントが画面に映るものを取り込み、モデルが次の動作を決め、人がするようにクリックし、入力し、操作する。アプリケーションのコードにフックを仕込まない。だからAPIをまったく公開しないアプリも扱える。要はそこだ。人が操作できるなら、エージェントにもできる。APIは不要。
スクリプトではなく自然言語のタスク
タスクはコードではなくMarkdownかCSVで書く。アプリを知っている人なら誰でも書け、ほかのすべてと一緒にGitリポジトリに置ける。UIが変わったら、レコーダーをデバッグするのではなく一文を直す。これは大きな違いだ。従来のテストツールはレイアウトのわずかな調整で壊れるが、ここでは調整の代償は一行で済む。
あらゆる画面を覆うひとつの実行環境
AgentOSはエージェントにオペレーティングシステムを提供し、キーボード、マウス、画面の制御を一層にまとめる。仕事をするマシン上で動くので、エージェントは人がするようにデバイスを操作する。同じ実行環境がWindows、macOS、Linuxに加え、Android、ブラウザ、ベンチ機材も覆う。だからチームは対象ごとに別のスタックを保守しなくてよい。
手順ごとのスクリーンショット記録を備えたデスクトップアプリ
AskUI Desktopは、作業を書き、眺め、再現する場所だ。タスクを開き、接続したデバイスに対して実行し、エージェントが踏んだすべての手順を読み返す。手順ごとにスクリーンショット、実行ごとに記録が付く。監査証跡や引き継ぎ資料を必要とするチームにとって、その記録こそ使う理由になる。もう勘に頼らない。失敗した実行の原因究明は当て推量ではなくなる。
ヘッドレス実行とスケジュール実行のためのCLI
CLIはウィンドウのない同じエンジンだ。パイプラインで、スケジュールで、片隅のマシンで askui run を回し、レポートをビルド成果物として受け取る。ディスプレイは要らない。実行ごとに終了コードとレポートを返すので、ほかのチェックと同じように既存のCIに組み込める。
自社インフラ上の自社モデル
どのプランでもAnthropic、OpenAI互換のエンドポイント、セルフホストのモデルを使える。推論がAskUIのインフラに触れることはない。スクリーンショットに機密データが含まれるとき、これは重要だ。Enterpriseではオンプレミスやエアギャップ構成で配備でき、自社モデルを使えば推論費用さえ省ける。
公開ベンチマークの結果
AskUIによれば、この視覚エージェントはOSWorldベンチマークで66.2を記録し、AndroidWorldでは94.8%のタスク完了率に達した。公開時点で両方の公開リーダーボードに載ったことになる。ベンチマークの数字は、あなたの特定のアプリでどう振る舞うかを教えてはくれない。それでもコンピュータ操作エージェントを比べるうえで有用な信号であり、埋もれさせることなく公開されている。
メリットとデメリット
メリット
- APIアクセスなしで動くので、連携点をまったく公開しないアプリも自動化できる。
- タスクが自然言語なので、アプリを知る人がコードを書かずに作れる。
- ひとつの実行環境でデスクトップ、ウェブ、モバイル、組み込みの各画面を覆い、プラットフォームごとの手戻りを減らす。
- 手順ごとのスクリーンショット記録が、明確な監査証跡と引き継ぎ資料になる。
- スクリーンショットと推論を自社ネットワーク内に留められ、規制環境で役立つ。
デメリット
- 料金は見積もりのみでセルフサービス枠がなく、範囲確認の打ち合わせなしにコストを評価できない。
- 無料プランがなく、気軽に試したい個人や小規模チームは締め出される。
- 初回のトライアルと導入は、実際の環境とCIに対して回す前提で、セットアップの手間がかかる。
- 視覚を主軸にしたエージェントは、変化の速い特殊な画面ではつまずくことがあり、そこではコード化した経路のほうが予測しやすい。
よくある質問
人がするようにデバイス上でタスクを実行する。画面を読み、クリックし、入力し、操作する。タスクを自然言語で書けば、エージェントがそれを実行する。これはAPIによる自動化とはまったく違う。エージェントがアプリのコードやAPIにアクセスすることは一度もない。
関連コンテンツ
Caesr AIに関連するツール、スキル、記事を探す。
Caesr AIの代替ツール
Swms
Swms AI · ライティング · 生産性向上 · ビジネスSwmsは、仕事の簡単な説明をそのまま使える安全書類に変えるAI安全コンプライアンスツールだ。プロジェクト、職種、把握している危険を書けば、安全作業方法書、作業ハザード分析、安全作業手順書、RAMS、安全データシートを数秒で作成する。Oscarというチャットアシスタントも付いており、職場の安全に関する質問にどんな言語でも答える。建設、鉱業、運輸、倉庫のチームが、作業日を削る書類仕事を減らすために使っている。
Wordly AI Translation
Wordly · 音声・言語 · 生産性向上Wordly AI Translationは、会議・カンファレンス・イベント向けに作られたリアルタイムAI翻訳・字幕プラットフォームだ。60以上の言語でライブ翻訳、字幕、文字起こし、要約を提供し、参加者は専用ヘッドセットを使わず、QRコードを読み取るかリンクを開くだけで参加できる。Zoom、Microsoft Teams、Google Meet、Webexと連携し、セッションごとに人間の通訳を雇わずに多言語対応したい組織に向く。それだけのことだ。
Rows
Rows (Superhuman) · 生産性向上 · ビジネスRows は、50以上のソースからライブデータを取り込み、SQLクエリや入れ子の数式ではなく平易な言葉で操作できるAIスプレッドシート兼データ分析ツールだ。PDFから数字を抜き出し、広告プラットフォーム、データベース、銀行口座をつなぎ、AIにレポートの作成、データセットの結合、自動で再計算するモデルの構築を頼める。ブラウザで動き、スプレッドシートのように扱え、現在は Superhuman の傘下にある。