Search Candy

Search Candy는 올린 파일을 각각 독립된 묶음으로 다루고 짧은 파일은 통째로 남긴다. 긴 문서는 문장 끝에서 끊은 구절로 나뉘고, 각 구절은 자기 파일에 계속 매여 있다. 인용이 가능한 이유가 이 구조다. 결과는 자기가 어느 문서에서 왔는지 안다. 연결을 끝까지 잃지 않기 때문이다.

한 사실이 다음 사실로 이어질 때 엔진은 방금 찾은 구절로 다시 검색한다. 7,405개 두 단계 질문으로 이루어진 공개 데이터셋 HotpotQA에서 Search Candy는 필요한 구절이 상위 20개 안에 든 비율을 98.4%로 보고한다. 같은 문서를 일반 검색한 경우는 94.8%다. 벤더가 공개한 수치이므로 자기 질문으로 시험해 보는 편이 낫다.

문서 버전 기록은 처음에 대부분의 팀이 지나치는 부분이다. 파일의 개정판이 모두 그래프에 남으므로 과거 날짜를 지정하면 에이전트가 그날 받았을 구절을 한 글자도 바꾸지 않고 꺼낼 수 있다. 규정이나 가격, 계약을 설명하는 팀에게 "3월에 AI가 무엇을 봤나"는 추측이 아니라 조회가 된다.

결과는 원문 그대로 돌아오고 다시 쓰이지 않는다. 구절마다 파일과 버전이 표시된다. 근거가 없는 질문에는 not_covered 신호도 붙인다. 틀린 답이 무응답보다 비싼 자리에서 이 구분이 값을 한다.

검색 엔진은 언어 모델을 부르지 않으므로 문서를 뒤져도 토큰 청구서가 늘지 않는다. 답을 쓰는 일은 에이전트 쪽 모델이 맡는다. 질의가 많은 사내 어시스턴트에서 이런 분업은 검색 비용이 건수에 비례해 불어나지 않게 한다.

서비스는 SearchCandy Labs가 운영하므로 배포할 것이 없다. 기존 임베딩 모델을 그대로 가져올 수 있고 연결은 Python 라이브러리가 맡는다. 대신 호스팅과 권한, 클라우드 선택은 당분간 벤더 몫이다.