AnythingLLM

워크스페이스마다 문서 묶음을 따로 갖는다. AnythingLLM은 PDF, 오피스 파일, 스프레드시트, 코드, 오디오, URL을 검색 가능한 색인으로 바꾼다. 답변에는 어느 조각에서 왔는지 가리키는 인용이 붙어 확인에 클릭 한 번이면 된다. 제품의 중심이 여기 있다. 오프라인 문서 대화를, 내 디스크 위에서, 업로드 단계 없이 처리한다.

데스크톱 앱에는 llama.cpp 기반 엔진이 들어 있고 AMD의 Lemonade가 이를 관리한다. 2026년 말 Ollama 의존을 대체하면서 다운로드가 작아지고 윈도 지원이 나아졌다. 첫 실행 때 램과 GPU를 확인해 실제로 올라갈 모델을 제안한다. 그대로 써도 되고, Hugging Face에서 GGUF를 받아도 되고, 클라우드 사업자에 연결해도 된다. 기계를 바꿔도 앱이 쓸 만한 이유가 이 유연성이다.

통화는 내 기계에서 녹음되고 받아쓰기와 요약이 이뤄진다. 화자 라벨과 마지막의 할 일 목록이 따라붙는다. 참가자로 입장하지 않고 시스템 오디오를 듣기 때문에 어떤 플랫폼에서도 작동한다. 차이는 분명하다. 참가자 목록에 낯선 봇이 뜨지 않고, 녹음이 사업자 서버에 남지 않는다. 기록은 워크스페이스 색인에 들어가 3주 전 통화도 질문 대상이 된다.

에이전트는 웹을 검색하고 워크스페이스 문서를 읽고 코드를 실행하고 파일을 쓴다. 직접 만든 도구는 자바스크립트로 조립한다. 백그라운드 작업은 정해진 시각에 프롬프트를 돌려 아침마다 새 문서를 요약하는 식의 반복 업무를 맡는다. Docker 버전에서는 AnythingLLM API가 같은 기능을 HTTP로 열어 주므로 스크립트나 다른 앱에서 워크스페이스를 깨울 수 있다.

Docker 이미지를 쓰면 개인용 앱이 공유 서버가 된다. 사용자마다 워크스페이스가 분리되고, 관리자가 어떤 모델과 도구를 보여줄지 정하며, 화면 전체에 자사 브랜드를 입힐 수 있다. Enterprise 배포에는 SSO와 역할 기반 접근 제어가 더해진다. 프라이빗 AI 워크스페이스를 직접 만들지 않고 갖고 싶은 회사에 가장 짧은 길이다.

AnythingLLM Mobile은 작은 GGUF 모델을 안드로이드 기기에서 직접 돌린다. 웹 검색과 문서 검색, 예약 작업을 오프라인에서도 쓴다. 같은 네트워크에서 데스크톱과 연결하면 휴대폰으로 전체 워크스페이스와 더 큰 모델에 닿는다. 대화와 파일, 스레드는 계정도 제3자 중계도 없이 동기화된다.