Firecrawl
Firecrawl (Mendable AI) · Programmation · Autres
Firecrawl est une API de données web qui transforme les pages en Markdown propre ou en JSON structuré, pour que les agents IA puissent chercher, crawler et lire le web en direct.
À propos de Firecrawl
About
Qu'est-ce que Firecrawl
Firecrawl reçoit une URL et renvoie uniquement la partie utile de la page. La requête passe par un navigateur, les menus, publicités et bandeaux de cookies disparaissent, et la réponse arrive en Markdown, HTML ou JSON lisible par un modèle de langage sans nettoyage. C'est une API de scraping web pour ceux qui veulent convertir un site en Markdown sans écrire leur propre parseur.
La plupart des équipes s'en servent pour alimenter des systèmes de recherche documentaire, des agents et des outils d'analyse avec du contenu à jour. Monter son propre scraping web par IA demande un moteur de rendu, un pool de proxys et un nettoyeur HTML. Ici, tout cela se cache derrière une seule API pour crawler un site. Le compte couvre la recherche, l'extraction d'une page, le crawl complet, la découverte d'URL, la lecture de documents, les actions de navigateur et la surveillance planifiée.
Le projet est open source sous licence AGPL-3.0, avec un service hébergé pour ceux qui ne veulent pas gérer navigateurs et proxys. Les crédits sont partagés entre les endpoints et un crawl coûte plus qu'une extraction isolée. Vérifiez donc votre budget avant de lancer le service sur un gros site.
Premiers pas
- Créez un compte sur firecrawl.dev ou envoyez une requête de test sans clé. L'accès sans clé est limité en débit, mais suffit pour un premier essai.
- Copiez la clé depuis le tableau de bord et rangez-la dans FIRECRAWL_API_KEY.
- Envoyez un POST à /v2/scrape avec l'URL et les formats voulus, par exemple markdown et json.
- Installez un SDK (pip install firecrawl-py ou npm install firecrawl) ou branchez le serveur MCP sur Claude, Cursor ou VS Code.
- Ajoutez des appels crawl, map ou monitor quand il vous faut un site entier, une liste d'URL ou des alertes de changement.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Firecrawl.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Ingénieurs IA qui construisent des pipelines de recherche ou des agents
- Développeurs qui travaillent dans Claude Code, Cursor ou VS Code
- Équipes d'analyse et de veille
Tâches
- Transformer la documentation d'un produit en base de connaissances pour un chatbot
- Récupérer des prix ou des annonces sur des boutiques très JavaScript
- Obtenir des enregistrements typés
- Suivre les pages d'un concurrent
Cas d'usage
- Un prototype RAG qui a besoin de pages réelles cette semaine
- Un bot de support qui relit le centre d'aide après chaque version
- Un agent interne qui se connecte à un portail fournisseur
Fonctionnalités clés
Extraire des pages en Markdown ou en JSON structuré
L'endpoint scrape renvoie le contenu principal sans menus ni publicités, en Markdown, HTML, liens, captures d'écran ou JSON conforme à votre schéma. L'extraction de données structurées part de la même requête, donc les résultats arrivent dans des champs que vous pouvez stocker. Les PDF et fichiers DOCX suivent le même chemin, ce qui permet de réunir URLs et documents dans un seul jeu. La sortie est mise en cache, ce qui réduit le coût sur les pages qui changent peu.
Rechercher avec le contenu complet des pages
Search envoie la requête au web en direct et renvoie le texte entier de chaque résultat, pas seulement le titre et un extrait. Vous pouvez filtrer par domaine, date ou pays, et demander des passages clés ou un résumé. Un seul appel donne à l'agent assez de contexte pour répondre sans second tour d'extraction.
Crawler un site entier
Crawl part d'une URL et suit les liens selon vos règles : profondeur, motifs de chemin, nombre de pages et usage du sitemap. Les tâches tournent en arrière-plan et affichent leur progression, donc un site de 5 000 pages ne bloque pas votre application. Vous recevez un enregistrement Markdown ou JSON par page.
Cartographier le site avant le crawl
Map renvoie la structure d'URL d'un domaine en quelques secondes, ce qui aide quand l'organisation du site n'est pas claire. Filtrez la liste après l'appel et n'envoyez au crawl que les pages utiles. C'est moins cher que de tout parcourir pour savoir ce qui existe.
Agir sur les pages via un navigateur hébergé
Interact ouvre une vraie session de navigateur et exécute des actions comme cliquer, saisir, faire défiler ou se connecter. Cela couvre les pages qui ne chargent leur contenu qu'après un clic ou une authentification. Les sessions visent des tâches courtes, pas un navigateur laissé ouvert toute la journée.
Surveiller les changements de page
Monitor vérifie une page, un crawl ou une recherche selon la fréquence que vous fixez. Quand le contenu change ou qu'un nouveau résultat apparaît, Firecrawl envoie un webhook, un e-mail ou un message Slack. Cela remplace une pile de tâches cron et de scripts de diff pour les prix, les pages juridiques et les notes de version.
Avantages et inconvénients
Avantages
- Sept endpoints sous une seule clé : search, scrape, crawl, map, parse, interact et monitor.
- Du Markdown propre dès la sortie, sans menus ni gabarits avant le modèle.
- Open source en AGPL-3.0, donc auto-hébergement possible et code lisible avant de s'engager.
- SDK officiels pour Python, Node.js, Go et Rust, plus une CLI et un serveur MCP.
- Offre gratuite avec 1 000 crédits par mois et une première requête sans clé pour tester.
Inconvénients
- Le coût en crédits varie selon l'endpoint et les options, et un gros crawl peut vider un forfait plus vite que prévu.
- L'offre gratuite plafonne à 2 requêtes simultanées et 10 par minute sur scrape, trop peu pour du traitement par lots.
- Interact n'est pas conçu pour des sessions persistantes, donc un agent connecté pendant des heures a besoin d'un autre outil.
- L'auto-hébergement suppose de gérer navigateurs et proxys, et la licence AGPL s'applique si vous modifiez et distribuez le code.
Questions fréquentes
Firecrawl donne aux applications IA un moyen de lire le web. Il convertit pages, PDF et documents en Markdown ou JSON, puis ajoute recherche, crawl et surveillance des changements à cette extraction de base.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Firecrawl.
Alternatives à Firecrawl
Base Code
Base44 (Wix) · Programmation · ProductivitéBase Code est un environnement de développement cloud partagé signé Base44. Votre équipe décrit des modifications sur un dépôt GitHub dans le chat, les vérifie en aperçu et les renvoie sous forme de pull requests.
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
GitGlow
GitGlow · Programmation · ProductivitéGitGlow est un client Git de bureau qui place votre code et les modifications de vos agents IA dans une même revue, pour savoir ce qui quitte votre machine avant de livrer.