Firecrawl
Firecrawl (Mendable AI) · 코딩 · 기타
Firecrawl은 웹 페이지를 깔끔한 Markdown이나 구조화 JSON으로 바꾸는 웹 데이터 API다. AI 에이전트가 검색하고 크롤링하며 실시간 웹을 읽는다.

Firecrawl 소개
About
Firecrawl이란
Firecrawl에 URL을 넘기면 페이지에서 필요한 부분만 돌아온다. 요청은 실제 브라우저를 거치고 메뉴, 광고, 쿠키 안내는 걸러진 뒤 모델이 바로 읽을 수 있는 Markdown, HTML, JSON으로 나온다. 직접 파서를 쓰지 않고 웹사이트를 Markdown으로 변환하려는 팀을 위한 웹 스크래핑 API다.
주 용도는 검색 증강 파이프라인, 에이전트, 조사 도구에 최신 웹 콘텐츠를 공급하는 것이다. AI 웹 스크래핑을 직접 만들면 렌더러, 프록시 풀, HTML 정리 도구를 갖춰야 한다. 여기서는 그 전부가 사이트 크롤링 API 안에 들어 있다. 같은 계정으로 검색, 단일 페이지 추출, 사이트 전체 크롤링, URL 탐색, 문서 파싱, 브라우저 조작, 예약 모니터링까지 처리한다.
코드는 AGPL-3.0으로 공개돼 있고, 브라우저와 프록시를 직접 운영하고 싶지 않은 팀을 위한 관리형 서비스도 있다. 크레딧은 모든 엔드포인트가 함께 쓰고 크롤링은 단발 추출보다 더 많이 소모한다. 큰 사이트에 붙이기 전에 예산을 확인하는 편이 좋다.
시작하기
- firecrawl.dev에서 계정을 만들거나 키 없이 테스트 요청을 보낸다. 키 없는 경로는 속도 제한이 있지만 첫 확인에는 충분하다.
- 대시보드에서 API 키를 복사해 FIRECRAWL_API_KEY로 저장한다.
- /v2/scrape에 POST를 보내며 URL과 원하는 형식(markdown, json 등)을 지정한다.
- SDK를 설치하거나(pip install firecrawl-py, npm install firecrawl) MCP 서버를 Claude, Cursor, VS Code에 연결한다.
- 사이트 전체, URL 목록, 변경 알림이 필요해지면 crawl, map, monitor 호출을 더한다.
제품 정보
Firecrawl의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 검색 증강이나 에이전트 파이프라인을 만드는 AI 엔지니어. scrape와 crawl이 모델용 텍스트를 바로 돌려주므로 HTML 정리 도구를 직접 짤 필요가 없다.
- Claude Code, Cursor, VS Code에서 작업하는 개발자. MCP 서버와 CLI가 검색과 추출을 에디터 안으로 가져온다.
- 조사와 분석을 맡은 팀. Monitor가 지정한 페이지를 정해진 주기로 지켜보고 내용이 바뀌면 webhook, 이메일, Slack으로 알린다.
작업
- 제품 문서를 챗봇 지식 베이스로 바꾸기. 문서 사이트를 크롤링하고 경로로 걸러 페이지마다 Markdown을 받는다.
- JavaScript가 많은 쇼핑몰에서 가격이나 상품 목록 뽑기. 관리형 브라우저가 페이지를 렌더링한 뒤 추출한다.
- 타입이 있는 레코드 얻기. 추출 옵션에 JSON 스키마를 넘기면 바로 저장할 수 있는 필드가 돌아온다.
- 경쟁사 페이지 추적. Monitor 대상를 정해 두고 매일 차이를 보면 탭을 손으로 열지 않아도 된다.
활용 상황
- 이번 주에 실제 페이지가 필요한 RAG 프로토타입. 무료 플랜의 1,000 크레딧이면 되고 첫 요청에는 키가 필요 없다.
- 배포 때마다 도움말 센터를 다시 읽는 지원 봇. 크롤링 작업을 예약해 두면 지켜보지 않아도 다시 돌릴 수 있다.
- 공급사 포털에 로그인하는 사내 에이전트. Interact가 저장된 자격 증명으로 여러 단계 작업을 실행한다.
주요 기능
페이지를 Markdown이나 구조화 JSON으로 추출
scrape 엔드포인트는 메뉴와 광고를 뺀 본문을 Markdown, HTML, 링크 목록, 스크린샷, 또는 지정한 스키마를 따르는 JSON으로 돌려준다. 구조화 데이터 추출도 같은 호출에서 끝나 결과가 데이터베이스에 넣을 수 있는 필드로 떨어진다. PDF와 DOCX도 같은 경로를 지나므로 URL과 문서가 섞인 묶음도 한 데이터셋으로 모인다. 출력은 캐시되어 잘 바뀌지 않는 페이지의 반복 비용을 줄인다.
검색 결과의 본문까지 가져오기
Search는 쿼리를 실시간 웹으로 보내고 각 결과의 전체 텍스트를 돌려준다. 제목과 요약만 주지 않는다. 도메인, 날짜, 국가로 걸러내고 핵심 구절이나 요약을 요청할 수도 있다. 한 번의 호출로 에이전트가 답을 내기에 충분한 문맥이 확보된다.
사이트 전체 크롤링
Crawl은 URL 하나에서 시작해 정한 규칙대로 링크를 따라간다. 깊이, 경로 패턴, 페이지 한도, sitemap 사용 여부가 여기에 해당한다. 작업은 백그라운드에서 돌고 진행 상황을 알려 주므로 5,000페이지 사이트도 앱을 붙잡지 않는다. 페이지마다 Markdown이나 JSON 레코드가 하나씩 돌아온다.
크롤링 전에 사이트 구조 파악
Map은 도메인의 URL 구조를 몇 초 만에 돌려준다. 사이트가 어떻게 짜였는지 모를 때 유용하다. 호출 뒤 목록을 걸러 필요한 페이지만 크롤링에 보내면 된다. 무엇이 있는지 알아보려고 전부 훑는 것보다 싸다.
관리형 브라우저로 페이지 조작
Interact는 실제 브라우저 세션을 열고 클릭, 입력, 스크롤, 로그인을 실행한다. 클릭이나 인증 뒤에야 내용이 읽히는 페이지를 이걸로 처리한다. 세션은 짧은 작업을 위한 것이며 하루 종일 브라우저를 열어 두는 용도가 아니다.
페이지 변경 모니터링
Monitor는 페이지, 크롤링, 검색을 정한 주기로 확인한다. 내용이 바뀌거나 새 결과가 나오면 Firecrawl이 webhook, 이메일, Slack 메시지를 보낸다. 가격, 정책 페이지, 릴리스 노트를 따라가던 cron 작업과 diff 스크립트 무더기를 대신한다.
장단점
장점
- API 키 하나로 일곱 개 엔드포인트를 쓴다. search, scrape, crawl, map, parse, interact, monitor.
- 출력이 곧바로 깔끔한 Markdown이라 모델에 닿기 전에 메뉴와 템플릿이 정리된다.
- AGPL-3.0 오픈소스여서 직접 호스팅할 수도 있고 코드를 먼저 읽고 정할 수도 있다.
- Python, Node.js, Go, Rust 공식 SDK에 CLI와 MCP 서버까지 있다.
- 무료 플랜은 월 1,000 크레딧이고 첫 요청은 키 없이 시험할 수 있다.
단점
- 크레딧 소모가 엔드포인트와 옵션에 따라 달라 큰 크롤링은 예상보다 빨리 플랜을 비운다.
- 무료 플랜은 동시 요청 2개, scrape 분당 10회라 배치 작업에는 느리다.
- Interact는 오래 유지되는 세션용이 아니라 몇 시간씩 로그인 상태를 붙잡는 에이전트에는 다른 도구가 필요하다.
- 직접 호스팅하면 브라우저와 프록시를 운영해야 하고, 코드를 고쳐 배포하면 AGPL 조건이 적용된다.
자주 묻는 질문
AI 애플리케이션이 웹을 읽는 통로다. 페이지, PDF, 문서를 Markdown이나 JSON으로 바꾸고 그 추출 위에 검색, 크롤링, 변경 감지를 얹는다.
관련 콘텐츠
Firecrawl와 관련된 도구, 스킬, 아티클을 살펴보세요.
Firecrawl 대안
Base Code
Base44 (Wix) · 코딩 · 생산성Base Code는 Base44가 만든 공유 클라우드 개발 환경이다. 팀은 기존 GitHub 저장소에 대한 변경을 채팅으로 설명하고, 미리보기로 확인한 뒤 풀 리퀘스트로 돌려보낸다.
Google EmbeddingGemma 2
Google DeepMind · 글쓰기 · 이미지 · 코딩Google EmbeddingGemma 2는 7억 4000만 파라미터의 오픈 모델로, 텍스트와 코드, 이미지, 오디오, 영상 프레임을 하나의 768차원 공간에 벡터로 바꿔 스마트폰과 노트북에서 실행한다.
GitGlow
GitGlow · 코딩 · 생산성GitGlow는 내 코드와 AI 에이전트의 변경을 한 리뷰에 모으는 데스크톱 Git 클라이언트다. 배포 전에 내 기계에서 무엇이 나가는지 확인할 수 있다.
