extract by Firecrawl

extract には 2 通りの使い方がある。欲しいデータを自然言語のプロンプトで書けば、モデルが妥当な形を選ぶ。JSON スキーマを渡せば、定義したとおりのフィールドと型で毎レコードが返る。データベース向けに安定した形が要るチームはスキーマを選び、未知のサイトを探る人はまずプロンプトで始めて後から詰める。

extract は 1 ページ、短いリスト、サイト全体のいずれにも向けられる。example.com/* のようなワイルドカード付き URL を渡すと、Firecrawl はドメインをクロールし、見つけたページを読んでからフィールドを抽出する。サイト全体の探索が 1 回の呼び出しで済み、URL のリストを自分で組み立てなくていい。ドメイン全体のモードは実験的とされており、結果の確認は欠かせない。

Web 検索のオプションを有効にすると、抽出は渡した URL の外まで及ぶ。Firecrawl が関連ページをたどって足りない文脈を埋めるので、1 ページに必要な情報が載っていないときに役立つ。公式の例では、1 つの商品ページから出発し、検索で網を広げてドライブレコーダーの価格や機能、レビューを引き出している。

extract はブロックする呼び出しではなくジョブとして動く。リクエストを送るとジョブ ID が返り、status エンドポイントを completed と報告されるまで問い合わせる。状態は completed、processing、failed、cancelled の 4 つで、キューやバックグラウンドのワーカーに組み込める。ジョブの結果は完了後 24 時間、API から取得できる。

Firecrawl は Python と Node の SDK を出しており、HTTP 呼び出しを自分で書かなくていい。Python クライアントは Pydantic モデルをスキーマに、Node クライアントは Zod オブジェクトを受け付け、型付きで検証済みの出力が得られる。どちらも即座にジョブ ID を返す start メソッドと、ジョブの完了後に結果を取る status メソッドを備える。

extract は他のエンドポイントと同じくクレジットで課金される。Firecrawl の料金体系もこのクレジットを軸にしている。extract では 1 クレジットが 15 トークンに相当し、基本の scrape は 1 ページ 1 クレジットだ。クレジットは全エンドポイントで共有され、検索結果もクロールしたページも同じ残高から引かれる。抽出とクロールを混ぜたジョブでも費用を見積もりやすい。

Firecrawl は extract を旧来のツールと位置づけ、新しい作業を後継の /agent に誘導する。Agent はプロンプトとスキーマの選択肢を保ちつつ、URL の必須条件を外したので、自分で検索して回れる。「このデータを Web のどこかで見つけたい」なら Agent が道だ。URL が既に分かっているなら、extract が今も役に立つ。