Preprocess

핵심 기능은 제목, 절, 문단, 표, 이미지, 목록을 따라 문서를 나누고, 긴 대목은 의미로 다시 묶었다. 덕분에 각 조각이 하나의 주제를 가리키고, 벡터화는 하나의 생각을 담았다. 회사는 이것만으로 검색 품질이 오르고 환각이 줄어든다고 주장했다. 모델이 어긋난 조각을 더는 받지 않기 때문이다.

API는 PDF, Microsoft Office 파일, OpenOffice 파일, HTML, 일반 텍스트를 하나의 엔드포인트로 받았다. 스캔한 PDF도 파싱 전에 문자 추출이 돌아 처리됐다. 출처가 뒤섞인 팀에게는 파일 형식마다 파서를 두는 대신 한 번만 연동하면 된다는 뜻이었다.

긴 문서를 파싱하는 데는 시간이 걸려 API는 비동기로 움직였다. 파싱 호출이 접수를 확인하면 완성된 조각이 webhook으로 오거나 24시간 안에 GET 요청으로 받아졌다. 이 설계는 수십 개 파일을 한꺼번에 처리하고 대기줄을 만들지 않는 배치 작업에 맞았다.

pypreprocess라는 SDK가 몇 줄의 Python으로 API를 감쌌고, LlamaIndex 리더는 이미 나눠진 파일을 불러오거나 프로세스 ID로 이전 결과를 가져왔다. 자체 파이프라인을 돌리고 싶은 팀을 위해 문서 전체 텍스트를 돌려주기도 했다. 지금은 SDK와 리더 모두 종료로 표시된다.

Preprocess는 월 요금을 받지 않았다. 크레딧 패키지를 사고 다 쓰면 추가로 충전했다. 문서나 프레젠테이션 한 페이지에 크레딧 하나, 스프레드시트 한 시트에 크레딧 하나가 들었고, HTML과 텍스트는 PDF로 변환한 뒤 페이지를 셌다. 이 방식은 부하가 일정하지 않은 팀에 맞았다.

상위 요금제에는 이미지 내보내기, 조각 경계 제어, 데이터 미보관 계약, 온프레미스 배포, 맞춤 처리 파이프라인이 더해졌다. 이런 선택지는 문서 데이터를 자사 인프라 밖으로 내보낼 수 없는 규제 산업을 겨냥했다.