AnythingLLM
Mintplex Labs · Produktivität
AnythingLLM ist ein lokaler KI-Assistent, der mit Ihren Dokumenten spricht, Meetings mitschreibt und Agenten auf Ihrem eigenen Rechner ausführt. Die Desktop-App ist kostenlos, Cloud-Hosting startet bei 50 $/Monat.
Über AnythingLLM
About
Was ist AnythingLLM
AnythingLLM ist ein privater KI-Arbeitsbereich von Mintplex Labs. Sie installieren die App, zeigen auf Ordner, PDFs, Webseiten oder Meeting-Mitschnitte und stellen dann Fragen zu diesem Material. Die Antwort kommt mit Quellenangaben und stammt standardmäßig von einem Modell, das auf Ihrer eigenen Hardware läuft.
Der Gewinn liegt in dem, was wegfällt. Kein Konto, kein API-Schlüssel, keine monatliche Token-Rechnung auf dem kostenlosen Desktop-Pfad. Ihre Dateien bleiben auf der Festplatte, und das zählt bei Verträgen, Befunden oder unveröffentlichten Spezifikationen. Auch ohne Netz läuft die App weiter, ein Flug oder ein abgeschottetes Büro ist also kein Hindernis mehr.
Die Grenzen sind Hardware und Reichweite. Ein kleines lokales Modell antwortet schnell, denkt aber weniger weit als ein Spitzenmodell, und ein 4B-Modell auf einem einfachen Notebook scheitert an Aufgaben mit mehreren Schritten. AnythingLLM fängt das ab, indem Sie auf OpenAI, Anthropic, Gemini oder einen Server im eigenen Netz zeigen können, wenn mehr Leistung nötig ist. Was es nicht kann: aus einem schwachen Rechner einen starken machen.
Erste Schritte
- Laden Sie die Desktop-App von anythingllm.com oder starten Sie das Docker-Image, wenn Sie selbst gehostete KI bevorzugen. Eine Datei, keine Abhängigkeiten, kein Login.
- Wählen Sie ein Modell. AnythingLLM empfiehlt eines, das zu RAM und GPU passt, und lädt es auf Wunsch herunter. Alternativ hinterlegen Sie einen Cloud-Schlüssel oder verbinden LM Studio, Ollama oder llama.cpp aus Ihrem Netz.
- Legen Sie einen Arbeitsbereich an und ziehen Sie Dokumente hinein. PDF, Word, Tabellen, Code, URLs und Audio werden ausgelesen und in einen lokalen RAG-Index geschrieben.
- Stellen Sie Fragen. Die Antworten nennen die Stelle, aus der sie stammen, Sie können die Quelle also prüfen, bevor Sie einer Aussage trauen.
- Ergänzen Sie den Rest: Websuche, Hintergrundaufgaben, den Meeting-Assistenten oder die AnythingLLM API, wenn Sie alles aus eigenem Code steuern wollen.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von AnythingLLM.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Berufe mit sensiblen Unterlagen
- Forschende und Analysten im Alleingang
- Kleine IT-Teams
Aufgaben
- Eine Dokumentensammlung befragen
- Meeting-Notizen erledigen
- Aus internem Material schreiben
- Einen privaten Assistenten fürs Team betreiben
Szenarien
- Im Flugzeug oder in einer abgeschotteten Anlage arbeiten
- Einen heiklen Datenbestand vor einem Geschäft prüfen
- Mit Quellen schreiben, die Sie nirgends hochladen dürfen
Wichtigste Funktionen
Dokumenten-Chat auf dem eigenen Rechner
Jeder Arbeitsbereich hält seinen eigenen Dokumentbestand, und AnythingLLM wandelt PDF, Office-Dateien, Tabellen, Code, Audio und URLs in einen durchsuchbaren Index. Antworten enthalten Quellen, die auf den Ursprungsabschnitt zeigen, eine Prüfung kostet also einen Klick statt einer Suche. Das ist der Kern des Produkts: offline mit Dokumenten chatten, auf der eigenen Platte, ohne Upload-Schritt.
Modellwahl nach Hardware
Die Desktop-App bringt eine Engine auf Basis von llama.cpp mit, verwaltet über Lemonade von AMD, die Ende 2026 die Ollama-Abhängigkeit ersetzt hat, mit kleinerem Download und besserem Windows-Support. Beim ersten Start prüft sie RAM und GPU und schlägt ein Modell vor, das tatsächlich lädt. Sie können das annehmen, ein GGUF von Hugging Face ziehen oder einen Cloud-Anbieter verbinden. Diese Flexibilität hält die App brauchbar, wenn Sie den Rechner wechseln.
Meeting-Assistent
Anrufe werden auf Ihrem Gerät aufgenommen, transkribiert und zusammengefasst, mit Sprecherkennzeichnung und einer Liste offener Punkte am Ende. Das funktioniert mit jeder Plattform, weil der Assistent den Systemton mitschneidet, statt als Teilnehmer beizutreten. Der Unterschied ist deutlich: Niemand sieht einen fremden Bot in der Teilnehmerliste, und die Aufnahme landet nicht auf einem Anbieterserver. Transkripte wandern in den Index Ihres Arbeitsbereichs, Sie können also ein Gespräch von vor drei Wochen nachlesen.
Agenten und geplante Aufgaben
Agenten suchen im Web, lesen Dokumente aus dem Arbeitsbereich, führen Code aus und schreiben Dateien. Eigene Werkzeuge bauen Sie in JavaScript, und Hintergrundaufgaben starten Prompts nach Zeitplan, was wiederkehrende Arbeit wie eine Morgenübersicht neuer Dokumente abdeckt. Die AnythingLLM API bietet dieselben Funktionen über HTTP in der Docker-Version, ein Arbeitsbereich lässt sich also aus einem Skript oder einer anderen App anstoßen.
Selbst gehosteter Mehrbenutzerbetrieb
Das Docker-Image macht aus der Einzelplatz-App einen gemeinsamen Server. Jeder Nutzer bekommt getrennte Bereiche, Admins legen fest, welche Modelle und Werkzeuge sichtbar sind, und die gesamte Oberfläche kann Ihr Branding tragen. Enterprise-Installationen ergänzen SSO und rollenbasierte Zugriffe. Für ein Unternehmen, das einen privaten KI-Arbeitsbereich will, ohne selbst einen zu bauen, ist das der kürzeste Weg.
Mobile App mit Desktop-Kopplung
AnythingLLM Mobile führt kleine GGUF-Modelle direkt auf Android aus, mit Websuche, Dokumentensuche und geplanten Aufgaben auch ohne Verbindung. Gekoppelt mit dem Desktop über das lokale Netz erreicht das Handy Ihre vollen Arbeitsbereiche und größere Modelle. Chats, Dateien und Threads bleiben synchron, ohne Konto und ohne Umweg über Dritte.
Vor- und Nachteile
Vorteile
- Die Desktop-App ist kostenlos, verlangt weder Konto noch API-Schlüssel, die Einstiegskosten liegen also bei null.
- Dokumente, Embeddings und Verlauf bleiben auf Ihrem Rechner, die Prüfrunde, die fast jedes Cloud-Tool verlangt, entfällt damit.
- Die Modellwahl ist wirklich offen: lokales GGUF, Server im eigenen Netz oder ein großer Cloud-Anbieter, pro Arbeitsbereich umstellbar.
- Die Docker-Version bringt Trennung zwischen Nutzern, Admin-Rechte und eigenes Branding auf Hardware, die Sie schon bezahlen.
- Die Handy-App koppelt sich über Ihr eigenes Netz mit dem Desktop, mobiler Zugriff bedeutet also kein zusätzliches Cloud-Konto.
Nachteile
- Die Antwortqualität folgt Ihrer Hardware. Ein kleines lokales Modell fasst gut zusammen, scheitert aber an mehrstufigem Denken, und das zeigt sich in vagen oder unvollständigen Antworten.
- Einige Vorzeigefunktionen stecken in den bezahlten Tarifen. Die kostenlose Version deckt Chat, RAG und Agenten ab, Meeting-Assistent und Magic-Funktionen gehören zum bezahlten Produkt.
- Selbst hosten bleibt echte Serverarbeit: Docker, Modellspeicher, Backups und Updates liegen bei Ihnen, und eine schlechte Modellwahl lässt die App kaputt wirken.
- Cloud-Hosting startet bei 50 $/Monat, und im Basic-Tarif bringen Sie weiterhin Ihren eigenen LLM-Schlüssel mit, der Listenpreis ist also nicht die ganze Rechnung.
Häufige Fragen
Es ist ein lokaler KI-Assistent für die Arbeit mit eigenen Dateien. Sie laden Dokumente in einen Arbeitsbereich, stellen Fragen und bekommen belegte Antworten von einem Modell, das auf Ihrem Rechner oder einem Server unter Ihrer Kontrolle läuft. Meetings, Websuche und Agenten erweitern denselben Arbeitsbereich in Richtung Notizen und Automatisierung.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu AnythingLLM.
Alternativen zu AnythingLLM
Base Code
Base44 (Wix) · Coding · ProduktivitätBase Code ist eine geteilte Cloud-Entwicklungsumgebung von Base44. Das Team beschreibt Änderungen an einem bestehenden GitHub-Repository im Chat, prüft sie in der Vorschau und reicht sie als Pull Request ein.
Knocket
Knocket (Tencent RTC team) · Produktivität · Business · ChatbotKnocket ist ein kostenloses Werkzeug für Live-Chat und Kontaktseite: Besucher schreiben über Ihre Website, Ihre App oder einen Link, und Sie antworten aus Telegram oder einem einzigen Posteingang.
FloorGen
Vinit Kumar (FloorGen) · Produktivität · KI aus ChinaFloorGen ist ein Grundriss-Ersteller im Browser, der aus einem Satz oder einer Skizze einen bearbeitbaren 2D-Plan und einen 3D-Rundgang macht. Export als PDF, DXF oder Video, Zeichnen ohne Konto.