DataFuel.dev

1回のクエリでサイト全体、またはナレッジベース全体を対象にする。DataFuelのクローラーは自分でリンクをたどる。ドキュメントサイトやwikiのためにURLリストを手で組む必要はない。決まったスケジュールで新しいページが要るRAGデータパイプラインの中核はここだ。出力はクリーンなmarkdownで、生のHTMLを汚すナビゲーションや広告の雑音はすでに除かれている。RAGの作業では、これが使えるチャンクとクリーニング案件の差になる。

既定の形式は、検索パイプラインとベクトルデータベースに合わせたmarkdownだ。このウェブサイトからmarkdownへの変換は見出し、リスト、リンクを保つ。分割戦略に使える実のある構造が手に入る。AIで選別した値ならJSON、テキストだけ欲しいときは素のTXTも出力できる。最初に正しい形式を選べば、後の変換工程を1つ省ける。そしてmarkdownはほとんどのRAGスタックが求める形式だ。

DataFuelをログインの背後にあるページに向けられる。リクエストに認証情報を添えれば、APIが認証を処理して非公開ドキュメント、社内wiki、制限付きナレッジベースに届く。DataFuelによれば、認証情報は保存時も通信時も暗号化される。公開ページではなく社内ソースをスクレイピングするなら、この点は重要だ。すべてのスクレイパーがこれをやるわけではなく、一番良いデータがログインの背後にあるときは実際の穴になる。

独自のJSONスキーマを定義すると、APIはGPT-4oを使って各ページから構造化された値を引き出す。DataFuelは、メールアドレスやその他明確に定義されたデータで100%の構造化抽出精度をうたう。引き換えにコストがかかる。AI抽出はURLあたり1ではなく15クレジットを消費する。クリーンな構造化データの見返りが15クレジットの消費を上回るときに使う。100万ページのクロールには不向きで、数百の高価値ページには最適だ。

内蔵クローラーは大きなサイトを巡回し、失敗したリクエストを再試行する。エラー処理を自分で書かなくていい。大きなドメインでは、この信頼性が完全なデータセットと穴だらけのデータセットの差になる。並行数はプランに応じて増え、Freelancerの1リクエストからUltimateの同時50まで広がる。入門枠で遅いクロールも、上位に上がるほど速くなる。

DataFuelはZapierとMakeにつながるので、スクリプトではなくノーコードのワークフローからスクレイピングを起動できる。n8nのネイティブ対応は近日公開として挙げられている。チームがコードベースより自動化ツールに頼るなら、データ準備をすでに使っているツールの中で完結できる。つなぎのコードは要らない。