RLAMA

RLAMA ist ein Frage-Antwort-Tool für Ihre eigenen Dokumente, gebaut, um komplett auf Ihrem Computer zu laufen. Es ist ein lokales RAG-Tool für die Kommandozeile, das sich auf Ollama stützt, die Anwendung, die Sprachmodelle offline ausführt, und aus einem Ordner voller Dateien eine durchsuchbare Wissensbasis macht. Der Entwickler veröffentlicht es unter der Apache-2.0-Lizenz, der Code ist also offen und kostenlos nutzbar.

Das Prinzip ist einfach. Sie zeigen auf einen Ordner, RLAMA liest die Dateien, zerlegt sie in Abschnitte und speichert die Vektoren jedes Abschnitts auf Ihrer Festplatte. Stellen Sie eine Frage, findet das Tool die passenden Passagen, übergibt sie an Ihr lokales Modell, und das Modell antwortet mit Ihren Unterlagen als Kontext. Dieses Verfahren heißt retrieval-augmentierte Generierung (RAG), und es hält die Antworten an echte Quellen gebunden, statt das Modell aus dem Gedächtnis raten zu lassen.

Der Haken liegt beim Einrichten. RLAMA ist eine CLI, keine App für einen Klick, Sie arbeiten also im Terminal und brauchen Ollama installiert und gestartet, bevor irgendetwas läuft. Eine gehostete Version gibt es auch nicht, und ein selbst gehostetes RAG ist genau der Sinn des Tools. Die Ergebnisse hängen vom gewählten Modell und der Qualität Ihrer Dokumente ab, und schwache Hardware oder ein kleines Modell zeigen sich in den Antworten. Das Projekt pausiert zudem gerade, neue Funktionen kommen derzeit nicht dazu.

Getting Started

1. Installieren Sie Ollama von ollama.ai und laden Sie mindestens ein Modell, etwa mit ollama pull llama3.
2. Installieren Sie RLAMA mit dem Einzeiler: curl -fsSL https://raw.githubusercontent.com/dontizi/rlama/main/install.sh | sh.
3. Erstellen Sie ein RAG-System mit Verweis auf einen Ordner: rlama rag llama3 meine-docs ./docs.
4. Starten Sie eine interaktive Sitzung und stellen Sie Fragen: rlama run meine-docs.
5. Fügen Sie später Dateien mit rlama add-docs hinzu, oder aktivieren Sie die Ordnerüberwachung, damit sie von selbst in den Index wandern.