LLMWare.ai

Model HQ는 코드를 쓰지 않고도 여러 단계의 AI 워크플로를 짠다. 모델, 데이터 소스, 로직을 이어 붙여 반복 가능한 프로세스를 만든다. 단순한 요약 단계부터 문서를 읽고 항목을 추출해 결과를 배정하는 다단계 흐름까지 된다. 이로써 제품은 챗봇을 넘어선다. 업무를 처음부터 끝까지 처리한다. 회사는 이 빌더를, 파이썬을 만져본 적 없는 사람에게 AI 자동화를 열어주는 열쇠로 본다.

플랫폼에는 250개 이상의 소형 언어 모델 카탈로그가 들어 있고, 기기의 GPU와 NPU에서 돌도록 양자화된 형식으로 제공된다. 함수 호출과 분류를 맡는 SLIM(Structured Language Instruction Models), RAG 질의응답에 맞춘 DRAGON, 빠른 시제품에 어울리는 BLING이 있다. OpenAI, Anthropic, Google의 주요 클라우드 모델도 지원해 로컬과 클라우드를 상황에 맞게 섞는다.

Model HQ에는 검색 증강 생성 파이프라인이 내장돼 있다. 오픈소스 llmware 프레임워크 뒤에 있는 것과 같은 기술이다. PDF, Word, 스프레드시트 폴더를 지정하면 내용을 분석하고 나누고 색인을 붙인 뒤 그 맥락으로 질문에 답한다. 회사는 이를 여러 벡터 데이터베이스와 연결한다. FAISS, Milvus, Pinecone, Qdrant, Postgres(PG Vector), Redis, Chroma 등이며, 이미 하나를 쓰는 팀에도 잘 맞는다.

클라이언트 에이전트는 최신 노트북이 이미 갖춘 연산 장치를 쓰도록 만들어졌다. CPU, GPU, NPU에서 돌고 Intel, AMD, Apple, NVIDIA, Qualcomm Snapdragon 칩에 맞춰 최적화됐다. 회사는 앱 평균 다운로드가 약 10초, 여러 모델을 기기에 올리는 데 30분 미만이라고 밝힌다. 최신 AI PC에서는 32B 파라미터까지 모델이 돌아 서버 없이도 쓸 만한 성능을 얻는다.

추론이 자체 하드웨어에서 돌기 때문에 토큰당 과금도, 사용량 기반 API 청구서도 없다. 회사는 AI PC에서 토큰당 예상 증분 비용을 $0으로 본다. 대부분의 워크플로는 네트워크 없이 돌아간다. 외근 팀, 보안 시설, 외부 서비스 가동에 기대고 싶지 않은 사람에게 중요하다. 데이터는 기본적으로 자사 환경에 남는다.

Model HQ는 세 곳에서 돌도록 설계됐다. AI PC, 민감 데이터의 배치 추론과 RAG를 위한 데이터센터, 규모가 크고 시간에 민감한 작업을 위한 프라이빗 클라우드다. 셋은 서로 연결해 혼합 구성이 된다. 노트북 에이전트가 필요할 때 중앙 배포에서 더 큰 모델을 당겨 쓴다. 기업은 AI 에이전트 앱을 만들어 직원 기기에 배포할 수 있다.

플랫폼에는 규제 산업 구매자가 요구하는 통제가 담겨 있다. AI 설명 가능성, 개인정보 필터링, 유해성과 편향 모니터링, 환각 탐지다. 기업 배포에는 서로 다른 하드웨어를 넘나드는 모니터링, 업데이트, 확장이 더해진다. 기기 실행과 맞물려, 컴플라이언스 팀이 데이터가 어디로 갔고 모델이 무엇을 봤는지에 답할 수 있게 한다.