Reworkd AI

핵심 발상은 이렇다. 원하는 데이터를 스키마에 적으면 선택자를 쓰게 하는 대신 플랫폼이 스크레이퍼를 생성한다. 마크업이 바뀌는 사이트에서 문턱이 낮아진다. CSS 선택자는 개편이 오는 순간 깨지기 때문이다. 스크래핑 전담 엔지니어가 없는 팀에게 몇 주의 준비 작업이 채울 양식 한 장으로 바뀐다.

그룹은 같은 스키마와 스크래핑 주기를 공유하는 소스 URL을 묶는다. 그룹 안에서 각 URL은 작업이 되고, 플랫폼이 이를 단계로 쪼갠다. 먼저 카테고리 페이지, 다음 목록 페이지, 마지막 상세 페이지다. 이 구조 덕분에 정의 하나가 사이트 전체와 하위 페이지를 덮고, 10개에서 1만 개로 늘려도 작업을 다시 하지 않아도 된다.

그룹은 정해진 간격으로 다시 돌도록 예약할 수 있고, 여기서 Reworkd가 일회성 크롤과 갈린다. 데이터 파이프라인은 신선한 레코드를 필요로 한다. 예약은 수동 스크래핑을 정기적인 것으로 바꿨다. 결과는 중복 제거된 뷰로 돌아오고, 그룹이 다시 돌 때마다 갱신된다.

수집한 데이터는 세 갈래로 플랫폼을 나갔다. UI를 통한 대량 내보내기, 출력을 프로그램으로 가져오는 API, 그리고 스크래핑 도중의 파일 다운로드 지원이다. API가 있어서 Reworkd는 굳이 찾아가야 하는 종착지가 아니라 기존 파이프라인에 끼워 넣는 도구가 됐다. 출력은 중복이 제거되고 그룹 단위로 구체화되어, 소비자는 원시 중복이 아니라 정돈된 뷰를 받는다.

어떤 사이트는 내용을 로그인 뒤에 감추거나 상태를 쿠키와 로컬 스토리지에 둔다. Reworkd는 쿠키와 로컬 스토리지를 읽고 쓰는 API 엔드포인트를 열어 두어, 순수 HTTP 클라이언트로는 절대 닿지 못할 페이지에 스크레이퍼가 도달했다. 계정 장벽 안쪽 전부에 걸리는 문제이고, 단순한 스크래핑 도구에 흔한 빈틈이다.

플랫폼은 스트리밍 아키텍처로 돌아갔고, 팀은 에이전트형 AI와 GenAI로 실시간 추출을 어떻게 확장했는지 공개적으로 썼다. Reworkd의 공동 창업자는 차단을 피하면서 하루에 테라바이트를 다룬다고 설명했는데, 그게 설계 목표였다. 한 번 표를 긁는 사람이 아니라 진짜로 물량을 밀어붙이는 팀을 염두에 뒀다는 뜻이다.