extract by Firecrawl

extract는 두 가지로 쓴다. 원하는 데이터를 자연어 프롬프트로 쓰면 모델이 알맞은 형태를 고른다. JSON 스키마를 넘기면 정의한 대로의 필드와 타입으로 레코드가 돌아온다. 데이터베이스용으로 안정된 형태가 필요한 팀은 스키마를, 낯선 사이트를 탐색하는 사람은 프롬프트로 시작해 나중에 다듬는다.

extract는 페이지 하나, 짧은 목록, 사이트 전체 어디에나 겨눌 수 있다. example.com/* 같은 와일드카드 URL을 주면 Firecrawl이 도메인을 크롤해 찾은 페이지를 모두 읽은 뒤 필드를 추출한다. 사이트 전체 탐색이 호출 한 번으로 끝나고, URL 목록을 직접 짤 필요가 없다. 도메인 전체 모드는 실험적이라고 표시되어 있어 결과를 확인하는 편이 좋다.

웹 검색 옵션을 켜면 추출이 넘겨준 URL 밖으로 나간다. Firecrawl이 관련 페이지를 따라가 빠진 맥락을 채우므로, 페이지 하나에 필요한 정보가 다 없을 때 도움이 된다. 공식 예시는 상품 페이지 하나에서 출발해 검색으로 그물을 넓혀 블랙박스의 가격과 기능, 후기를 끌어낸다.

extract는 호출을 막지 않고 작업으로 돈다. 요청을 보내면 작업 ID가 돌아오고, status 엔드포인트가 completed를 보고할 때까지 조회한다. 상태는 completed, processing, failed, cancelled 네 가지라 큐나 백그라운드 워커에 붙일 수 있다. 작업 결과는 끝난 뒤 24시간 동안 API에서 가져올 수 있다.

Firecrawl은 Python과 Node SDK를 내놓아 HTTP 호출을 직접 쓰지 않아도 된다. Python 클라이언트는 Pydantic 모델을 스키마로, Node 클라이언트는 Zod 객체를 받아 타입이 붙고 검증된 출력을 준다. 둘 다 작업 ID를 곧바로 주는 start 메서드와, 작업이 끝나면 결과를 가져오는 status 메서드를 갖췄다.

Firecrawl 요금제는 이제 extract도 다른 엔드포인트와 같은 크레딧으로 과금한다. extract에서는 1 크레딧이 15 토큰이고, 기본 scrape는 페이지당 1 크레딧이다. 크레딧은 모든 엔드포인트에서 공유되어 검색 결과도 크롤한 페이지도 같은 잔액에서 나간다. 추출과 크롤을 섞은 작업에서도 비용을 가늠하기 쉬워진다.

Firecrawl은 extract를 예전 도구로 표시하고 새 작업을 후속 도구인 /agent로 보낸다. Agent는 프롬프트와 스키마 선택지를 유지하면서 URL 필수 조건을 없애 스스로 검색하고 탐색한다. "이 데이터를 웹 어딘가에서 찾고 싶다"면 Agent가 길이다. URL을 이미 안다면 extract가 여전히 제 몫을 한다.