Vectorize

파이프라인 빌더는 이 도구의 중심이다. 소스, 대상 데이터베이스, 임베딩 모델을 고르면 Vectorize가 추출, 분할, 임베딩, 저장 단계를 대신 조립한다. 코드 우선 프레임워크가 아니라 클릭과 설정으로 진행하는 방식이라 연결에서 검색 가능한 인덱스까지 걸리는 시간이 짧다. 나중에 모델을 바꾸려는 팀도 전체 흐름을 다시 짤 필요가 없다.

대부분의 RAG 구성은 색인이 정해진 일정으로 돌아가기 때문에 문서가 바뀌는 순간 낡는다. Vectorize는 연결한 소스를 감시하고 변경이 생기면 벡터 저장소로 밀어 넣는다. 새 규정 페이지나 해결된 티켓은 나타난 뒤 얼마 지나지 않아 인덱스에 들어간다. 답변은 오늘 시스템에 실제로 있는 내용에 묶여 있게 된다.

검색 엔드포인트는 여러 단계를 한 번의 호출로 묶는다. 들어온 질의를 벡터화하고 인덱스에 k-ANN 검색을 수행하며, 필요하면 대화 기록을 바탕으로 질의를 다시 쓰고 내장 재순위화를 적용한다. 결과는 관련도 점수, 코사인 유사도, 메타데이터와 함께 돌아온다. 텍스트 덩어리만 받는 대신 출처를 보여주거나 문서 속성으로 걸러야 할 때 유용하다.

Vectorize RAG 플랫폼의 벡터 데이터베이스 연동은 저장소를 골라 쓸 수 있게 한다. Vectorize는 임베딩을 자사 저장소에 가두지 않고 사용자가 고른 데이터베이스에 저장한다. 미리 구성된 커넥터가 Pinecone, Qdrant, Weaviate, PostgreSQL, Elastic, Azure AI Search, Neo4j, Milvus 등을 지원한다. 이미 쓰는 조회 도구와 접근 제어, 백업을 그대로 유지하고, 데이터를 옮기거나 같은 저장소에서 혼합 워크로드를 돌릴 수 있다.

커넥터 목록은 실제 콘텐츠가 있는 곳까지 닿는다. Amazon S3와 Google Cloud Storage 같은 클라우드 저장소, Google Drive와 Dropbox 같은 생산성 앱, Discord 같은 대화 도구, Confluence, GitHub, Intercom 같은 플랫폼이다. 여기서 바로 가져오면 임시 폴더로 다 내보내는 수고를 덜고, 설정 작업과 어긋남도 줄어든다.

한 임베딩 제공자에 묶이지 않는다. OpenAI, Voyage AI, Amazon Bedrock, Vertex AI 등 여러 AI 플랫폼의 모델을 지원하므로 비용과 검색 품질을 견줘 파이프라인마다 고를 수 있다. 나중에 제공자를 바꾸는 일은 다시 쓰는 게 아니라 설정 변경이며, 더 낫거나 저렴한 모델이 나올 때 도움이 된다.

Vectorize Iris는 단순 텍스트 추출이 망가뜨리는 복잡한 PDF를 다룬다. 스캔한 페이지, 빽빽한 표, 구조에 의미가 걸린 레이아웃이 그렇다. 시각적 배치를 읽어 임베딩된 조각이 표와 페이지 관계를 유지하게 한다. 정확한 검색에서 중요한 부분이며, 단순 파서가 자주 실패하는 지점이다.