Private GenAI Chatbots

어시스턴트는 승인한 문서로 답한다. 범용 모델이 학습 중에 외운 내용이 아니다. Pangeanic은 저장소와 용어집, 사내 콘텐츠 위에 다국어 검색 계층을 올리고 접근 규칙을 적용해 사용자가 허용된 자료만 보게 한다. 답변은 항상 출처를 가리킨다. 데모와 컴플라이언스 부서가 승인하는 시스템의 차이가 여기에 있다. 검색, 권한, 인용의 조합이 대부분 구매 담당자가 말하는 엔터프라이즈 RAG다.

모든 질문에 최전선 모델이 필요한 것은 아니다. Pangeanic은 작은 언어 모델을 고객의 용어와 언어, 문서 문체에 맞추고, 어려운 요청은 같은 구조 안에서 더 큰 모델로 넘긴다. 소형 모델은 필요한 하드웨어가 적다. 기존 GPU 예산이나 랙 하나에 맞춰야 하는 배포에서 의미가 있다.

같은 플랫폼이 프라이빗 클라우드 테넌트에서도, 자사 데이터센터에서도, 인터넷 연결이 없는 인프라에서도 돌아간다. 온프레미스 AI 챗봇은 모델을 자사 방화벽 안쪽에 둔다. Pangeanic은 이 선택을 조직이 실제로 필요로 하는 주권의 정도라고 설명한다. 에어갭 배포에서는 외부 사업자에 토큰 단위로 호출하는 방식이 불가능하므로 모델이 로컬에 있어야 한다.

Pangeanic의 언어 사업은 영어에 그치지 않는다. 자사 웹사이트 어시스턴트는 EU 공용어 십여 개에 카탈루냐어, 바스크어, 갈리시아어를 더해 처리한다. 실제로는 한 언어로 질문하고 다른 언어로 쓰인 구절을 찾아오며, 답변은 질문한 언어로 생성된다. 기업용 다국어 AI 어시스턴트를 맞춤 제작하면 용어 관리도 필요하다. 용어집은 다음 프로젝트로 이어진다.

Pangeanic은 마스킹과 익명화를 처리 흐름에 넣는다. 이름, 계좌번호, 그 밖의 개인정보를 추론 전에 찾아내 치환한다. 고객 기록을 다루는 기업용 프라이빗 AI라면 어느 경우든 관련되는 이야기다. 이 회사는 이 기능을 단독 서비스로도 오래 제공해 왔다. 마스킹은 프롬프트가 유출됐을 때 드러날 내용도 줄여 준다.

관리 화면에서 어시스턴트와 출처, 사용자를 관리할 수 있고, 어시스턴트는 웹사이트나 사내 포털에 넣을 수 있다. Pangeanic은 화면만 제공하지 않고 사람 평가를 붙인다. 전문가가 사실 근거와 도메인 정확도, 언어 품질을 확인한 뒤 대상자를 늘린다. 많은 구매자에게 이 검토 절차가 파일럿을 승인받게 하는 결정적 요인이다.