DoubleCloud
DoubleCloud · コーディング
DoubleCloudはClickHouse、Kafka、Airflowなどのオープンソースを基盤にしたマネージド型データ分析サービスだ。2024年10月1日に新規登録を停止し、2025年3月1日で提供を終えた。
DoubleCloud について
About
DoubleCloudとは
DoubleCloudは、分析基盤は欲しいがサーバーの面倒は見たくないチーム向けのデータ分析基盤だった。自社製データベースを売るのではなく、広く使われているオープンソース部品をマネージドオープンソースサービスとして包み、Amazon Web ServicesかGoogle Cloudの上で動かしていた。高速な分析クエリはClickHouse、ストリーミングデータの移動はKafka、ワークフローの定期実行はAirflowが担い、そこにコード不要のデータ転送ツールと無料のダッシュボード作成ツールが加わっていた。
出発点はClickHouseだった。同社はClickHouseの最初のマネージドサービスを名乗り、独自フォークを出すのではなくオープンソース版の上に機能を積み重ねる方針を取った。クラスタのチューニング、バックアップ、証明書の更新のためにデータベース専任チームを抱えたくない組織にとっては、この違いが大きかった。
現在の最大の制約は単純だ。サービスはもう存在しない。2024年10月1日に新規アカウントの作成を止め、最後の告知で既存顧客に2025年3月1日までの移行を求めた。サイトはアーカイブとして残っており、製品ページやドキュメントは読める。ただし登録もクラスタ起動もサポートへの問い合わせもできない。マネージドClickHouseの提供先を探すチームは他を当たるしかなく、多くはClickHouse Cloudか大手クラウドのマネージドサービスに落ち着く。
運用中にもう一つ制約があった。魅力の中心が他社のオープンソースコードの代行運用にあるという点だ。データ形式もクエリ言語も標準なので移行はしやすい想定だったが、プラットフォーム側が独自のコンソール、API、Terraformプロバイダを抱えていたため、アカウントが完全に持ち運べるわけではなかった。
始め方
- DoubleCloudのコンソールでアカウントを作り、リソースを置くクラウド事業者とリージョンを選ぶ。
- サービスを作成する。分析ならClickHouse、ストリーミングならKafka、定期実行ならAirflowを選び、サイズとストレージを決める。
- Data Transferかネイティブのコネクタでデータソースをつなぎ、同期したいテーブルやトピックを指定する。
- クエリやパイプラインを組み、結果をData Visualizationでグラフやダッシュボードとして公開する。
- 負荷の変化に合わせて、コンソール、API、Terraformからクラスタの規模を調整する。
AIツール情報
DoubleCloudの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 中堅企業のアナリティクスエンジニア：SQLを書きデータを設計できるが基盤は持ちたくないチームに向く。ClickHouse、Kafka、Airflowはいずれも構築と監視込みで提供された。
- データベース専任者がいないスタートアップ：バックアップ、証明書の更新、バージョンのパッチ適用は事業者側の仕事になった。小さなチームが一週間を費やしがちな作業が消える。
- オープンソース前提で開発するチーム：ClickHouse、Kafka、Airflowの構成ならAPIも文法もそのままで、知識を流用できた。独自データウェアハウスより囲い込みは弱い。
タスク
- イベントデータのリアルタイム分析：ClickHouseは数十億行のクエリをミリ秒で返す。イベントの到着に合わせて更新するダッシュボードに向く。
- ログとトレースの分析：カラム型ストレージと圧縮で可観測性データの保持コストを抑え、Data Visualizationで追加ライセンスなしに可視化できた。
- コードを書かないデータ移行：Data TransferはPostgreSQL、MySQL、MongoDB、Snowflake、広告プラットフォームなどをつなぎ、スケジュール実行か変更データキャプチャで複製した。
- ストリーミングでの取り込み：マネージドKafkaが高スループットの経路をさばいて分析基盤へ送り、Airflowが周辺のジョブを回す。
シーン
- 自前運用のClickHouseクラスタの置き換え：ホストへのパッチ適用、ZooKeeperの調整、手作業のアップグレード検証から解放され、時間をクエリに向けられる。
- プロダクト内の顧客向け分析機能の立ち上げ：複数テナントのダッシュボードで高速かつ安定した応答を出す前提で作られていた。
- Snowflakeの請求が重くなったときの倉庫コスト削減：事例記事ではクエリ速度の大幅な向上と支出の減少が示され、ハイブリッドストレージは古いデータをS3並みの価格でオブジェクトストレージに逃がした。
- 終了に伴うクラウド間のデータ移行：移行期間中はData Transferが無料になり、他プラットフォームへデータを持ち出すコネクタも用意された。
主な機能
リアルタイムクエリ向けのマネージドClickHouse
中核はフルマネージドのClickHouseだ。クラスタの構築と設定、高可用性の用意、バックアップ、SSL証明書の更新までを代行し、標準のSQLインターフェースをそのまま使わせた。分析クエリでは主要なリレーショナルデータベースより最大100倍速いと同社は説明しており、チームがClickHouseを選ぶ理由もそこにある。
ノーコードのデータ転送と変更データキャプチャ
Data TransferはサーバーレスのELTツールで、ClickHouseへの投入と外部への取り出しを担った。同社はネイティブS3コネクタでAirbyteより9倍速いと主張し、毎秒20GBまで拡張してもデータを欠落させないとした。コネクタはClickHouse、MySQL、PostgreSQL、MongoDB、Snowflake、Elasticsearch、Oracle、BigQuery、複数の広告プラットフォームに対応し、変更データキャプチャでトランザクション系のデータベースを常時同期できた。
ストリーミングとスケジューリングを1つのコンソールに
マネージドKafkaとマネージドAirflowが構成を完成させた。日次バッチではなくイベントを処理するチームはKafkaで高スループットの取り込みを行い、Airflowが周辺のジョブを定期実行して監視した。3つを同じコンソールに置くことで、請求も権限も状態確認も1か所にまとまった。
無料のデータ可視化
DoubleCloudはアカウント保有者に追加料金なしでダッシュボード作成ツールを提供した。複数のソースを1つのグラフにまとめるデータ統合の役割も兼ね、ClickHouse、PostgreSQL、MySQL、MS SQL Server、Prometheus、BigQuery、Snowflake、ファイルにつながった。地図や地理レイヤー、ソースをまたぐグラフ、行レベルの絞り込みにも対応した。BIツールを別契約していたチームには、ここが一番お得な部分になる。
ハイブリッドストレージと読みやすい請求
ClickHouseのハイブリッドストレージは低温データをS3互換のオブジェクトストレージへ逃がし、高温データは手元に残した。同社はストレージ費用を最大5分の1に抑えられると説明した。可用性ゾーン間の通信、受信、送信、VPCピアリングは無料で、ZooKeeperとClickHouse Keeperにも料金はかからない。請求は従量制で、解約手数料もなかった。
Infrastructure as Codeと公開API
すべてのリソースはコンソールの外から管理できた。公開APIとTerraformプロバイダが用意され、クラスタ、パイプライン、転送設定を他の基盤と同じようにバージョン管理へ置ける。エンジニアにコンソール権限を配らない企業でも使いやすい形だった。
メリットとデメリット
メリット
- ClickHouse、Kafka、Airflow、可視化が1つの請求にまとまり、取引先の管理も個別契約も減る。
- バックアップ、証明書更新、パッチ適用、ZooKeeperの管理が含まれ、小さなチームの保守作業が軽くなる。
- オープンソース標準のインターフェースなので、SQLの知識と既存パイプラインをそのまま流用でき、データはコネクタで移せる。
- 公開された事例では速度とコストの改善が大きく、以前の倉庫から移した後にクエリが180倍速くなった例もある。
デメリット
- サービスは終了した。新規アカウントは2024年10月1日で打ち切られ、残った顧客は2025年3月1日までに出る必要があった。今から導入することはできない。
- AWSとGoogle Cloudのリージョンに依存し、自社クラウドアカウントで動かすなどの選択肢は、価格を知る前に営業とのやり取りが必要だった。
- 可視化は無料だが範囲が狭い。既にBIツールを持つチームには基本的なダッシュボード層が増える程度で、複雑なレポートには別のツールが要る。
よくある質問
できない。2024年10月1日に新規アカウントの作成を停止し、2025年3月1日で運営を終えると告知した。サイトはアーカイブとして残り、閲覧のみ可能だ。
関連コンテンツ
DoubleCloudに関連するツール、スキル、記事を探す。
DoubleCloudの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。