MyScale
MOQI SINGAPORE PTE. LTD. · コーディング
MyScaleはClickHouse上に構築されたSQLベクトルデータベースだ。ClickHouse ベクトルデータベースとして、ベクトル検索、全文検索、分析を一つのエンジンにまとめ、SQLで扱える。RAGやAIアプリに向く。
MyScale について
What Is MyScale
MyScaleはAIアプリ向けのクラウドデータベースで、オープンソースのClickHouseエンジン上で動く。考え方は単純だ。構造化データ、ベクトル、テキストを同じシステムに置き、すでに知っているSQLでまとめて問い合わせる。MSTGと呼ぶ独自エンジンは数十億規模のベクトル検索向けに調整されており、専用ベクトルデータベースより速度とコストで4倍から10倍優れると同社は主張する。この数字は同社自身のベンチマークなので、自分のベクトルで確かめてから判断したい。
これが解くのはツールの散らばりだ。典型的なRAG構成はベクトルストアをリレーショナルデータベースと検索エンジンに継ぎ足し、三つのシステムと三つのクエリ言語を抱え込む。MyScaleはそれらを一つにまとめるので、一つのクエリでメタデータによる絞り込みとベクトル類似度による並べ替えを同時に行える。開発者は専用のベクトルAPIを覚えずに、SQLの知識をそのまま使える。
代償は、MyScaleDBが若く、ClickHouse本体より守備範囲が狭いことだ。ClickHouseから分岐し、ベクトル処理のためにストレージと実行エンジンを変えているため、上流のリリースに遅れることがある。Apache 2.0のオープンソース版を自分で運用することもできるが、MSTGエンジンを含む完成度の高い体験はMyScale Cloud経由でしか得られない。
Getting Started
- myscale.comで登録し、Clustersページからクラスタを起動する。
- Connection Detailsでホスト、ユーザー名、パスワードを取得し、Pythonクライアント、Node.js、Go、JDBC、HTTPSのいずれかで接続する。
- テーブルを作り、行を挿入し、ベクトル列にcosineなどのメトリクスでベクトルインデックスを張る。
- ORDER BY distanceとLIMITでSQLのベクトル検索を走らせるか、WHEREで先に行を絞り込む。
- OpenAI、LangChain、LlamaIndexの連携でスタックに組み込み、公開する。
AIツール情報
MyScaleの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- バックエンドとAIの開発者：SQLを書けるなら、新しいクエリ言語を覚えたり別のベクトルサービスを立てたりせずにベクトル検索を組める。
- RAGの開発者：エンジンがベクトル検索、メタデータ絞り込み、全文検索を組み合わせるため、コーパスが増えても検索精度が保てる。
- データチーム：分析とAIのデータが一つの保管場所に収まり、運用して突き合わせるシステムが減る。
タスク
- RAGの検索を支える：埋め込みを文書の隣に置き、最も近い一致を単一のSQLクエリで引き出す。
- ハイブリッド検索：BM25のテキスト順位とベクトル類似度を組み合わせ、意味でもキーワードでも結果にたどり着ける。
- 絞り込み付きベクトル検索：WHEREでメタデータにより巨大なテーブルを削り、残りを距離で並べる。結果が的確でコストも抑えられる。
- アプリにセマンティック検索を足す：独自のインデックスサービスを作らず、Pythonクライアントや連携経由でMyScaleに届く。
シーン
- 初めてのRAG機能を出すチーム：無料podで試作し、トラフィックが来たらクラスタを拡張する。
- 複数データベースの構成を入れ替えるスタートアップ：ベクトル、テキスト、構造化行を一つのSQLシステムに移し、つなぎのコードを捨てる。
- データが増え続けるAIアプリ：ストレージと演算を別々に拡張できるので、十億ベクトルでも作り直しにならない。
主な機能
SQLで行うベクトル検索
MyScaleはベクトル検索をSQLの操作として扱う。列にベクトルインデックスを張り、ORDER BYの中で距離関数を使って行を並べ替える。WHERE、JOIN、GROUP BYとも自由に組み合わせられる。SQLが分かるなら、ここでのベクトルデータベースの扱い方もすでに分かっている。
MSTGベクトルエンジン
MSTGはMyScale独自の索引アルゴリズムで、NVMe SSDを使ってノードあたりのデータ量を増やす。標準的な構成の約10倍のデータ密度に達し、コストで専用ベクトルデータベースを上回ると同社は言う。これは同社のベンチマークなので、採用前に自分のベクトルで試したい。
全文検索とハイブリッド検索
ベクトルに加え、MyScaleは言語ごとに調整できるトークナイザー付きのBM25全文インデックスを備える。テキスト検索を単独で走らせてもいいし、ハイブリッドクエリでベクトル結果と混ぜてもいい。RAGでは、この組み合わせが片方だけより良い箇所を拾うことが多い。
任意の比率の絞り込み検索
絞り込み検索は多くのベクトルデータベースが苦手とする部分だ。MyScaleは先にメタデータで絞り、残った行を検索するので、十億行のごく一部しか残らない絞り込みでも精度が保たれる。実務では、これがきれいな結果と遅くて曖昧な結果の分かれ目になる。
データ管理の一元化
保管はベクトルに限らない。MyScaleは構造化列、JSON、テキスト、地理空間、時系列データを同じテーブルで扱う。ある製品、その埋め込み、売上の履歴が並んで置けるので、一つのクエリでAIの特徴量と業務データをつなげられる。
連携とクライアント
MyScaleはOpenAI、LangChain、LangChain JS/TS、LlamaIndexに接続し、Python、Node.js、Go、JDBCのクライアントとHTTPSインターフェースを用意する。多くのチームはゼロからではなく既存のパイプラインに組み込むため、移行は短く済む。
MyScale Telemetry
TelemetryはLLMシステムの可観測性を提供し、プロンプト、応答、検索の各ステップを一か所で追える。これがないとRAGパイプラインの不具合は原因の推測になるが、あればモデルに渡した検索結果まで見える。
セキュリティとアクセス制御
MyScaleはSQLベースのロールベースアクセス制御を備え、SOC 2とISO 27001への準拠を表明する。機密データを扱うチームにとっては、クラスタ全体を晒さずに限られた権限を渡す道になる。
メリットとデメリット
メリット
- SQLに完全対応しているため、SQLが分かる人なら独自APIや新しいクエリ言語を覚えずにベクトル検索を動かせる。
- ベクトル検索、全文検索、分析が一つのエンジンを共有し、典型的なRAG構成が抱える余分なサービスを削れる。
- MSTGエンジンはディスク上の十億規模ベクトルを狙うので、大きなコレクションを丸ごとメモリに載せずに済む。
- 絞り込み検索は並べ替えの前にメタデータで絞るため、選択性の高いクエリでも精度が落ちない。
- 500万件の768次元ベクトルを扱う無料podと、OpenAI、LangChain、LlamaIndexの連携で、試すまでの手間が小さい。
デメリット
- 4倍から10倍という性能とコストの数字は同社自身のベンチマークなので、頼る前に自分のデータで再現したい。
- ClickHouseの分岐である以上、MyScaleDBは上流エンジンとその機能群に遅れることがあり、最新のClickHouse機能が要るなら気になる。
- MSTGエンジンを含む強力な機能はMyScale Cloud側にあり、オープンソース版を自前で運用すると製品としては物足りない。
- 広く使えるモバイルやデスクトップのアプリはなく、エンドユーザー向けツールよりもサーバーやパイプラインの作業に向く。
よくある質問
MyScaleはAIアプリの裏側のデータを保存し、問い合わせる。主にRAGシステムの検索とセマンティック検索に使う。ベクトル、テキスト、構造化行を一緒に置き、SQLで問い合わせる。
関連コンテンツ
MyScaleに関連するツール、スキル、記事を探す。
MyScaleの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。