Firecrawl
Firecrawl (Mendable AI) · コーディング · その他
FirecrawlはWebページを読みやすいMarkdownや構造化JSONに変換するWebデータAPIで、AIエージェントが検索、クロール、読み取りを行える。
Firecrawl について
About
Firecrawlとは
FirecrawlはURLを渡すと、ページの必要な部分だけを返す。リクエストは実際のブラウザを通り、メニュー、広告、Cookie通知は落とされ、モデルがそのまま読めるMarkdown、HTML、JSONとして出てくる。自前のパーサーを書かずにウェブサイトをMarkdownに変換したい向けの、WebスクレイピングAPIだ。
使われ方の中心は、検索拡張のパイプライン、エージェント、調査ツールに最新のWebコンテンツを流し込むことにある。AIスクレイピングを自前で組むなら、レンダラー、プロキシプール、HTMLクリーナーを用意することになる。ここではその全部がサイトクロールAPIの内側に収まっている。同じアカウントで、検索、単ページ取得、サイト全体のクロール、URLの洗い出し、文書の解析、ブラウザ操作、定期的な監視まで賄える。
コードはAGPL-3.0で公開されており、ブラウザやプロキシを運用したくないチーム向けにマネージド版もある。クレジットは全エンドポイントで共有され、クロールは単発の取得より多く消費する。大きなサイトに向ける前に、予算を確認しておきたい。
はじめかた
- firecrawl.devでアカウントを作るか、キーなしでテストリクエストを送る。キーなしの経路はレート制限があるが、動作確認には足りる。
- ダッシュボードからAPIキーをコピーし、FIRECRAWL_API_KEYとして保存する。
- /v2/scrapeにPOSTを送り、URLと欲しい形式（markdownやjson）を指定する。
- SDKを入れる（pip install firecrawl-py または npm install firecrawl）。MCPサーバーをClaude、Cursor、VS Codeにつなぐ方法でもよい。
- サイト全体、URL一覧、変更通知が必要になったら、crawl、map、monitorの呼び出しを足す。
AIツール情報
Firecrawlの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 検索拡張やエージェントのパイプラインを作るAIエンジニア。scrapeとcrawlがモデル向けのテキストを返すので、HTMLクリーナーを自作しなくて済む。
- Claude Code、Cursor、VS Codeの中で作業する開発者。MCPサーバーとCLIで、検索と取得をエディタに持ち込める。
- 調査や分析の担当チーム。Monitorが指定ページを決めた間隔で見張り、変化があればwebhook、メール、Slackで知らせる。
タスク
- 製品ドキュメントをチャットボットの知識源にする。ドキュメントサイトをクロールし、パスで絞って各ページのMarkdownを取る。
- JavaScriptの多いECサイトから価格や出品を拾う。マネージドのブラウザがページを描画してから抽出する。
- 型付きのレコードを得る。抽出オプションにJSONスキーマを渡せば、そのまま保存できるフィールドが返る。
- 競合ページを追う。Monitorの対象を決めて毎日差分を見れば、タブを手で開かなくていい。
シーン
- 今週中に実ページが要るRAGの試作。無料プランの1,000クレジットで足り、最初のリクエストにキーは不要だ。
- リリースのたびにヘルプセンターを読み直すサポートボット。クロールジョブは予約でき、放置しても再実行できる。
- 取引先ポータルにログインする社内エージェント。Interactが保存済みの認証情報で複数ステップの操作をこなす。
主な機能
ページをMarkdownや構造化JSONに変換する
scrapeエンドポイントは、メニューや広告を除いた本文をMarkdown、HTML、リンク集、スクリーンショット、指定スキーマに沿ったJSONで返す。構造化データ抽出も同じ呼び出しで完結し、結果はデータベースに入れられる形になる。PDFやDOCXも同じ経路を通るため、URLと文書が混ざった束でも1つのデータセットにまとまる。出力はキャッシュされ、更新の少ないページでは繰り返しの費用が下がる。
検索結果の本文まで取得する
Searchはクエリを生きたWebに投げ、各結果の本文全体を返す。タイトルと抜粋だけでは終わらない。ドメイン、日付、国で絞り込み、要点や要約を求めることもできる。1回の呼び出しで、エージェントが答えを出すのに足りる文脈が手に入る。
サイト全体をクロールする
Crawlは1つのURLから始め、深さ、パスのパターン、ページ上限、sitemapの利用といった指定に沿ってリンクをたどる。ジョブはバックグラウンドで動き、進捗を報告する。5,000ページのサイトでもアプリを止めない。ページごとにMarkdownかJSONのレコードが1件返る。
クロールの前にサイト構造を把握する
MapはドメインのURL構造を数秒で返す。サイトの作りが分からないときに役立つ。呼び出した後にリストを絞り、必要なページだけをクロールへ送る。何があるかを確かめるために全部をなめるより安い。
マネージドブラウザでページを操作する
Interactは実際のブラウザセッションを開き、クリック、入力、スクロール、ログインを実行する。クリックや認証の後にしか内容が読めないページはこれで拾える。セッションは短い作業向けで、一日中ブラウザを開きっぱなしにする用途ではない。
ページの変化を監視する
Monitorはページ、クロール、検索を決めた間隔で確認する。内容が変わったとき、あるいは新しい結果が出たときに、Firecrawlがwebhook、メール、Slackメッセージを送る。価格、規約ページ、リリースノートの追跡に使っていたcronジョブとdiffスクリプトの山を置き換えられる。
メリットとデメリット
メリット
- 1つのAPIキーで7つのエンドポイントを使える。search、scrape、crawl、map、parse、interact、monitor。
- 出力がそのままきれいなMarkdownで、モデルに届く前にメニューやテンプレートが落ちている。
- AGPL-3.0のオープンソースで、自前ホストもコードを読んでからの判断もできる。
- Python、Node.js、Go、Rustの公式SDKに加え、CLIとMCPサーバーがある。
- 無料プランは月1,000クレジット、初回リクエストはキーなしで試せる。
デメリット
- クレジット消費はエンドポイントとオプションで変わる。大規模なクロールは想定より早くプランを食う。
- 無料プランは同時2リクエスト、scrapeは毎分10回まで。バッチ処理には遅い。
- Interactは長時間のセッション向けではない。何時間もログイン状態を保つエージェントには別のツールが要る。
- 自前ホストはブラウザとプロキシの運用が付いてくる。コードを改変して配布する場合はAGPLの条件もかかる。
よくある質問
AIアプリがWebを読むための入口になる。ページ、PDF、文書をMarkdownやJSONに変換し、その抽出の上に検索、クロール、変更監視を載せている。
関連コンテンツ
Firecrawlに関連するツール、スキル、記事を探す。
Firecrawlの代替ツール
Base Code
Base44 (Wix) · コーディング · 生産性向上Base CodeはBase44の共有クラウド開発環境だ。既存のGitHubリポジトリに対する変更をチャットで伝え、プレビューで確認し、プルリクエストとして返せる。
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
GitGlow
GitGlow · コーディング · 生産性向上GitGlow は自分のコードと AI エージェントの変更を一つのレビューにまとめるデスクトップ Git クライアントだ。出荷前に、マシンから何が出ていくのかを確かめられる。