Preprocess
Preprocess · 生産性向上 · ビジネス
Preprocess は、PDF、Office ファイル、HTML を構造に沿って RAG 向けのテキスト断片に分割するチャンキング API だった。このサービスは現在終了している。
Preprocess について
What Is Preprocess
Preprocess は、長く複雑な文書を検索向けのテキスト断片に変換する API サービスだった。実体としては PDF 解析 API であり、数百語ごとに機械的に切るのではなく、見出し、節、段落、表、画像、箇条書きを読み取り、文書そのものの構造と意味に沿って内容を分割した。同社はこの出力を RAG 向けデータと呼び、ベクトル化、インデックス化、ベクトルデータベースへの投入を前処理なしで行えるきれいな断片として売り込んだ。
狙っていた課題は現実のものだった。ほとんどのチームは固定の語数で文書を分割し、その方法は窓に入ったものをそのままモデルに渡す。RAG データ前処理は、まず文書の構造を読むという別の道を選んだ。表の一行が見当違いの見出しに貼り付き、定義が箇条書きを失い、モデルは断片から答えを組み立てる。Preprocess は構造を意識したやり方で RAG の性能を最大 10 倍まで高められると主張したが、これは同社自身の数字であり、第三者の検証ではない。
今はどの機能よりも重い事実がある。preprocess.co のサービスはもう利用できない。公式サイトは空のディレクトリを返し、提供元はサービスを停止し、Python SDK と LlamaIndex リーダーの両方に、プロジェクトは終了したので依存を外すよう促す注記が付いている。
Getting Started
サービスが稼働していた当時の手順は次のとおりだった。
- Preprocess のアプリで登録し、クレジットのパッケージを購入して API キーを入手する
- アップロードまたは Python SDK で文書を解析エンドポイントに送る
- 非同期の解析が終わるのを待ち、結果を webhook で受け取るか、24 時間以内に GET 呼び出しで取得する
- 返ってきた断片をそのままベクトルストアに入れ、別途テキスト分割ツールを挟まない
AIツール情報
Preprocessの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- RAG パイプラインを組む AI エンジニア
- 自前のパーサーを持たないバックエンド開発者
- AI アシスタントを出すプロダクトチーム
タスク
- 長い PDF の分割
- 表と箇条書きの抽出
- スキャン文書の処理
- Office と HTML ファイルの処理
シーン
- 法務や財務のチームが分厚い契約書を検索ツールに流す場合
- 製品マニュアルとヘルプページで作ったサポートボット
- 解析チームを持たないスタートアップ
- バッチ取り込みの処理
主な機能
構造を意識したインテリジェントチャンキング
中核となる機能は、見出し、節、段落、表、画像、箇条書きに沿って文書を分割し、長い記述は意味でまとめ直した。これにより各断片が一つの話題を指し、ベクトル化は一つの考えを捉える。同社はこれだけで検索品質が上がり幻覚が減ると主張した。モデルが噛み合わない断片を受け取らなくなるからだ。
幅広い形式のサポート
API は PDF、Microsoft Office ファイル、OpenOffice ファイル、HTML、プレーンテキストを一つのエンドポイントで受け取った。スキャンした PDF も、分割の前に文字抽出が走るため扱えた。来源が混在するチームにとっては、ファイル形式ごとにパーサーを用意するのではなく、一度の統合で済むということだった。
非同期 API と webhook
長い文書の解析には時間がかかるため、API は非同期で動いた。解析呼び出しが受け取りを確認し、完成した断片は webhook に届くか、24 時間以内なら GET リクエストで取得できた。この設計は、何十ものファイルを一度に処理して待ち行列を作らないバッチ処理に向いていた。
Python SDK と LlamaIndex 連携
pypreprocess という SDK が数行の Python で API を包み、LlamaIndex リーダーは分割済みのファイルを読み込むか、プロセス ID で過去の結果を取得した。自前のパイプラインを回したいチーム向けに、文書全体のテキストを返すこともできた。現在、SDK とリーダーはいずれも終了扱いになっている。
サブスクなしのクレジット課金
Preprocess は月額料金を取らなかった。クレジットのパッケージを買い、尽きたら追加する方式だ。文書やプレゼンテーションの 1 ページで 1 クレジット、表計算の 1 シートで 1 クレジット、HTML とテキストは PDF に変換してからページを数えた。この仕組みは負荷が一定しないチームに向いていた。
企業向けの管理機能
上位のプランには画像の書き出し、断片境界の制御、データを保持しない契約、オンプレミス配備、独自の処理パイプラインが加わった。こうした選択肢は、文書データを自社インフラの外に出せない規制業界を狙ったものだった。
メリットとデメリット
メリット
- 構造と意味で分割するため、検索が話題から外れない記述を返した
- 一つのエンドポイントが PDF、Office ファイル、HTML、プレーンテキストをカバーし、スキャン文書も含んだ
- サブスクはなく、負荷の波に合うクレジットパッケージだけだった
- webhook と Python SDK が既存の取り込みパイプラインに余計なつなぎ込みなしで収まった
- LlamaIndex リーダーにより、よく使われる RAG 構成に載せられた
デメリット
- サービスが終了しているため、今は登録もクレジット購入も API 呼び出しもできない
- 最大 10 倍という性能の主張は提供元のもので、第三者の検証がなかった
- 料金は従量制ではなく前払いクレジットだったため、使わないかもしれない分を先に払う必要があった
- 断片境界やオンプレミス配備といった高度な制御は企業プランに限られていた
よくある質問
Preprocess は RAG パイプライン向けのドキュメントチャンキング API だった。PDF、Office ファイル、HTML、プレーンテキストを読み取り、文書の構造と意味に沿ったテキスト断片へ分割し、各断片を単独でベクトル化、インデックス化できるようにした。
関連コンテンツ
Preprocessに関連するツール、スキル、記事を探す。
Preprocessの代替ツール
Base Code
Base44 (Wix) · コーディング · 生産性向上Base CodeはBase44の共有クラウド開発環境だ。既存のGitHubリポジトリに対する変更をチャットで伝え、プレビューで確認し、プルリクエストとして返せる。
Knocket
Knocket (Tencent RTC team) · 生産性向上 · ビジネス · チャットボットKnocketは無料のライブチャット兼コンタクトページだ。訪問者はウェブサイト、アプリ、共有リンクから書き込み、こちらはTelegramか一つの受信トレイから返信する。
FloorGen
Vinit Kumar (FloorGen) · 生産性向上 · 中国のAIFloorGenはブラウザで動く間取り作成ツールだ。文章かスケッチから編集できる2D間取り図と3Dウォークスルーを作る。PDF、DXF、動画に書き出せ、アカウントなしでも描き始められる。