Firecrawl
Firecrawl (Mendable AI) · Programação · Outros
O Firecrawl é uma API de dados da web que transforma páginas em Markdown limpo ou JSON estruturado para agentes de IA buscarem, rastrearem e lerem a web ao vivo.
Sobre Firecrawl
About
O que é o Firecrawl
O Firecrawl recebe uma URL e devolve só a parte da página que interessa. A requisição passa por um navegador, menu, anúncio e aviso de cookie ficam de fora, e a resposta chega em Markdown, HTML ou JSON que um modelo de linguagem lê sem tratamento extra. É uma API de scraping para quem quer converter site em Markdown sem escrever o próprio analisador.
A maior parte dos times usa o serviço para abastecer busca semântica, agentes e ferramentas de pesquisa com conteúdo atual. Fazer scraping com IA em casa exige renderizador, pool de proxies e um limpador de HTML; aqui isso tudo fica atrás de uma API para rastrear sites. A mesma conta atende busca, extração de uma página, rastreamento do site inteiro, descoberta de URLs, leitura de documentos, ações de navegador e monitoramento agendado.
O projeto é aberto, com licença AGPL-3.0, e existe a versão gerenciada para quem não quer manter navegadores e proxies. Os créditos são compartilhados entre os endpoints e um rastreamento consome mais que uma extração avulsa, então vale conferir o orçamento antes de apontar para um site grande.
Como começar
- Crie uma conta em firecrawl.dev ou dispare uma requisição de teste sem chave. O caminho sem chave tem limite de requisições, mas serve para ver a resposta.
- Copie a chave no painel e guarde como FIRECRAWL_API_KEY.
- Envie um POST para /v2/scrape com a URL e os formatos desejados, como markdown e json.
- Instale um SDK (pip install firecrawl-py ou npm install firecrawl) ou conecte o servidor MCP ao Claude, Cursor ou VS Code.
- Acrescente chamadas de crawl, map ou monitor quando precisar do site todo, de uma lista de URLs ou de avisos de mudança.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Firecrawl.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Engenheiros de IA que montam pipelines de recuperação ou agentes
- Quem programa dentro do Claude Code, Cursor ou VS Code
- Times de análise e pesquisa
Tarefas
- Transformar a documentação de um produto em base de conhecimento de chatbot
- Capturar preços e listagens de lojas com muito JavaScript
- Obter registros tipados
- Acompanhar páginas de concorrentes
Cenários
- Um protótipo de RAG que precisa de páginas reais nesta semana
- Um bot de suporte que relê a central de ajuda a cada versão
- Um agente interno que entra no portal de fornecedores
Principais recursos
Extrair páginas em Markdown ou JSON estruturado
O endpoint de scrape devolve o conteúdo principal sem menu e sem anúncio, em Markdown, HTML, links, capturas ou JSON no formato do seu schema. A extração de dados estruturados sai da mesma chamada, então o resultado já cai em campos que você consegue guardar. PDF e DOCX passam pelo mesmo caminho, o que permite juntar URLs e documentos numa base só. A saída fica em cache, o que reduz o custo em páginas que quase não mudam.
Busca com o conteúdo completo da página
O Search manda a consulta para a web ao vivo e devolve o texto inteiro de cada resultado, não apenas título e trecho. Dá para filtrar por domínio, data ou país e pedir destaques ou um resumo. Uma chamada entrega contexto suficiente para o agente responder sem uma segunda rodada de extração.
Rastrear um site inteiro
O Crawl começa numa URL e segue links conforme as regras que você define: profundidade, padrões de caminho, limite de páginas e uso do sitemap. O trabalho roda em segundo plano e informa o progresso, então um site de 5.000 páginas não trava a aplicação. Você recebe um registro em Markdown ou JSON por página.
Descobrir a estrutura antes de rastrear
O Map devolve a estrutura de URLs de um domínio em segundos, útil quando você não sabe como o site está organizado. Filtre a lista depois da chamada e mande para o rastreamento apenas as páginas necessárias. Sai mais barato do que varrer tudo para descobrir o que existe.
Interagir com páginas num navegador gerenciado
O Interact abre uma sessão de navegador real e executa ações como clicar, digitar, rolar e fazer login. Isso cobre páginas que só carregam conteúdo depois de um clique ou de uma autenticação. As sessões servem para tarefas curtas, não para deixar um navegador aberto o dia inteiro.
Monitorar mudanças nas páginas
O Monitor verifica uma página, um rastreamento ou uma busca no intervalo que você marcar. Quando o conteúdo muda ou surge um resultado novo, o Firecrawl envia webhook, e-mail ou mensagem no Slack. Isso substitui uma pilha de cron jobs e scripts de diff para preços, páginas de política e notas de versão.
Prós e contras
Prós
- Sete endpoints com uma chave só: search, scrape, crawl, map, parse, interact e monitor.
- Markdown limpo de saída, sem menu nem template antes de o texto chegar ao modelo.
- Código aberto em AGPL-3.0, então dá para hospedar por conta própria ou ler o código antes de fechar.
- SDKs oficiais para Python, Node.js, Go e Rust, além de CLI e servidor MCP.
- Plano gratuito com 1.000 créditos por mês e primeira requisição sem chave para testar.
Contras
- O custo em créditos varia por endpoint e por opção, e um rastreamento grande pode consumir o plano antes do previsto.
- O plano gratuito permite 2 requisições simultâneas e 10 por minuto no scrape, pouco para lote.
- O Interact não foi feito para sessões persistentes, então um agente que fica horas logado precisa de outra ferramenta.
- Hospedar por conta própria significa manter navegadores e proxies, e a AGPL vale se você modificar e distribuir o código.
Perguntas frequentes
O Firecrawl dá às aplicações de IA um jeito de ler a web. Ele converte páginas, PDFs e documentos em Markdown ou JSON, e soma busca, rastreamento e monitoramento de mudanças a essa extração básica.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Firecrawl.
Alternativas a Firecrawl
Base Code
Base44 (Wix) · Programação · ProdutividadeO Base Code é um ambiente de desenvolvimento em nuvem compartilhado da Base44. O time descreve mudanças em um repositório do GitHub pelo chat, confere tudo na prévia e envia o resultado como pull request.
Google EmbeddingGemma 2
Google DeepMind · Escrita · Imagem · ProgramaçãoGoogle EmbeddingGemma 2 é um modelo aberto de 740 milhões de parâmetros que transforma texto, código, imagens, áudio e quadros de vídeo em vetores de um único espaço de 768 dimensões, rodando em celulares e notebooks.
GitGlow
GitGlow · Programação · ProdutividadeO GitGlow é um cliente Git de desktop que coloca seu código e as mudanças dos seus agentes de IA na mesma revisão, para você saber o que vai sair da máquina antes de publicar.