Reworkd AI

A ideia central era que você descrevia os dados que queria em um esquema e a plataforma gerava o scraper, sem te obrigar a escrever seletores. Isso baixava a barreira em sites com marcação que muda, onde os seletores CSS quebram assim que chega um redesign. Para times sem um engenheiro dedicado a scraping, substituía semanas de montagem por um formulário a preencher.

Um grupo reunia URLs de origem que compartilhavam um esquema e uma frequência de rastreio. Dentro do grupo, cada URL virava um job que a plataforma dividia em etapas: uma página de categoria, depois as de listagem e por fim as de detalhe. Essa estrutura permitia que uma única definição cobrisse um site inteiro e suas subpáginas, então ir de dez URLs para dez mil não obrigava a refazer o trabalho.

Os grupos podiam ser agendados para rodar de novo em um intervalo definido, e é isso que separava o Reworkd de um rastreio de uma vez só. Pipelines de dados precisam de registros frescos, e o agendamento virava uma raspagem manual em uma recorrente. Os resultados voltavam como uma visão já deduplicada, atualizada cada vez que o grupo rodava de novo.

Os dados coletados saíam da plataforma por três caminhos: exportações em massa pela interface, uma API para puxar os resultados de forma programática e suporte a download de arquivos no meio do scraping. A API é o que tornava o Reworkd usável dentro de um pipeline existente, e não como um destino que você tinha que visitar. As saídas vinham deduplicadas e materializadas por grupo, então quem consumia recebia uma visão limpa, sem duplicatas brutas.

Alguns sites escondem conteúdo atrás de login ou guardam estado em cookies e no armazenamento local. O Reworkd expunha endpoints para ler e gravar cookies e armazenamento local, de forma que os scrapers chegavam a páginas que um cliente HTTP comum nunca alcançaria. Isso importava para tudo que está atrás de uma conta, e é uma lacuna comum em ferramentas de scraping mais simples.

A plataforma rodava sobre uma arquitetura de streaming, e o time escreveu em público sobre como escalava a extração em tempo real com IA agêntica e GenAI. O cofundador do Reworkd descreveu o processamento de terabytes por dia evitando bloqueios, que era o alvo de projeto. Isso diz que o usuário mirado era um time empurrando volume de verdade, não alguém pegando uma tabela uma vez.