RLAMA

RLAMA는 내 문서를 위한 질의응답 도구로, 내 컴퓨터 안에서만 돌아가도록 만들었다. 로컬 RAG 도구이자 명령줄 도구이며, 언어 모델을 오프라인으로 실행하는 Ollama와 결합해 폴더 속 파일을 검색 가능한 지식베이스로 바꾼다. 개발자는 Apache 2.0 라이선스로 공개했고, 코드는 열려 있으며 무료로 쓸 수 있다.

방식은 단순하다. 폴더를 지정하면 RLAMA가 파일을 읽고, 조각으로 나누고, 각 조각의 벡터를 디스크에 저장한다. 질문을 던지면 걸맞는 구절을 찾아 로컬 모델에 넘기고, 모델은 내 자료를 맥락 삼아 답한다. 이 방식을 검색 증강 생성(RAG)이라 부르며, 모델이 기억만으로 추측하지 않도록 답을 실제 출처에 묶어 두는 장치다.

문제는 설치에 있다. RLAMA는 CLI이며 클릭 한 번으로 쓰는 앱이 아니다. 터미널에서 작업하고, 무엇이든 돌아가기 전에 Ollama를 설치하고 실행해 둬야 한다. 호스팅 버전도 없다. 셀프 호스팅 RAG에서는 오히려 이 점이 핵심이다. 결과는 고른 모델과 문서 품질에 달려 있고, 성능이 낮은 하드웨어나 작은 모델은 답에 그대로 드러난다. 프로젝트도 현재 멈춰 있어 새 기능은 한동안 나오지 않는다.

Getting Started

1. ollama.ai에서 Ollama를 설치하고 최소 한 개 모델을 받는다. 예를 들어 ollama pull llama3를 실행한다.
2. 한 줄 스크립트로 RLAMA를 설치한다. curl -fsSL https://raw.githubusercontent.com/dontizi/rlama/main/install.sh | sh.
3. 폴더를 지정해 RAG 시스템을 만든다. rlama rag llama3 my-docs ./docs.
4. 대화형 세션을 열고 질문한다. rlama run my-docs.
5. 나중에 파일을 추가하려면 rlama add-docs, 자동으로 넣고 싶으면 폴더 감시를 켠다.