Off-grid LLM over Radio
pham-tuan-binh (open-source project) · Sonstiges · Chatbot
Off-grid LLM over Radio verbindet ein lokales LLM mit Meshtastic-Mesh-Netzwerken und gibt Wanderern und abgelegenen Teams KI-Chat und Aufgabenautomatisierung ohne Internet.
Über Off-grid LLM over Radio
Was ist Off-grid LLM over Radio
Off-grid LLM over Radio ist eine Open-Source-Plattform, die ein großes Sprachmodell mit einem Meshtastic-Mesh-Netzwerk verbindet, also einer Gruppe stromsparender Funkgeräte, die Textnachrichten zwischen Knoten austauschen, ganz ohne Mobilfunkmast oder WLAN. Jeder in diesem Funknetz kann mit einem LLM sprechen und bekommt kurze Antworten zurück, selbst wenn keine Internetverbindung besteht.
Das Setup löst ein enges Problem gut. Bergwachten, Wanderer und Gemeinschaften abseits des Netzes haben oft Funkkontakt, aber kein Datensignal, weshalb die Funkverbindung ihr einziger Kanal bleibt. Diese Plattform macht daraus einen KI-Kanal: Die Nachricht, die Sie tippen, geht über das Mesh raus, ein angeschlossener Rechner führt das Modell über Ollama aus, und die Antwort kommt denselben Weg zurück.
Es ist keine Plug-and-Play-App. Sie brauchen ein Meshtastic-Gerät, einen Rechner mit Python und ein gutes Gespür für die Kommandozeile, um überhaupt irgendwohin zu kommen. Wer einen Offline-KI-Chat sucht, der einfach so läuft, ist hier falsch. Die README des Projekts warnt selbst, dass der Werkzeugeinsatz bei kleinen Modellen noch nicht zuverlässig ist, also testen Sie gründlich, bevor Sie sich im Feld darauf verlassen. Das Interesse der Community ist echt, doch das Werkzeug steckt noch in den Kinderschuhen.
Erste Schritte
- Installieren Sie Python 3.8 oder neuer sowie die Meshtastic-Python-Bibliothek, das Ollama-SDK und die PubSub-Bibliothek.
- Klonen Sie das Repository und installieren Sie die Abhängigkeiten mit
pip install -r requirement.txt. - Verbinden Sie Ihr Meshtastic-Gerät per USB, TCP oder Bluetooth und richten Sie das Skript auf diese Schnittstelle aus.
- Führen Sie
python main.pyaus, um den Bot in Ihrem Mesh-Kanal zu starten. - Senden Sie
/enable_llm, um den Chat einzuschalten, oder/tool Ihre_Nachricht, um eine Aufgabe auszulösen.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Off-grid LLM over Radio.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Wanderer und Rucksackreisende
- Bergwacht- und Feldteams
- Funkamateure und Meshtastic-Fans
Aufgaben
- Fragen offline beantworten
- Funkaufgaben automatisieren
- Sensoren und Knoten abfragen
Szenarien
- Abgelegene Gebiete ohne Datenabdeckung
- Notfallübungen und Katastrophenvorsorge
- Feldexperimente
Wichtigste Funktionen
Beidseitiger Chat zwischen Mesh und LLM
Nachrichten fließen in beide Richtungen zwischen dem Meshtastic-Netz und dem Modell. Jeder im Mesh kann einen Prompt senden und eine Antwort erhalten, und die Plattform speichert den Verlauf, damit Folgefragen im Kontext bleiben. Das funktioniert fast wie ein Chatbot, nur über Funk statt über das Internet. Kein Signal? Kein Problem.
Werkzeugausführung aus einem Prompt
Das Präfix /tool lässt das Modell Aktionen ausführen statt nur Fragen zu beantworten. Das Projekt bringt ein funktionierendes Beispiel mit, eine Demo für den Notruf, und die README beschreibt, wie Sie ein eigenes Werkzeug hinzufügen, indem Sie Handler, Registry und Konfigurationsdateien bearbeiten. Hier geht die Plattform über ein einfaches Chat-Relais hinaus, und die Verdrahtung machen Sie selbst.
Automatisches Aufteilen von Nachrichten
Funknachrichten sind kurz, deshalb werden lange LLM-Antworten automatisch in Teile zerlegt. Die Plattform trennt bei rund 200 Zeichen, was die Antworten im Mesh lesbar hält. Sie kürzen die Ausgabe nicht von Hand.
Knotenbewusste Antworten
Der Bot kann knotenspezifische Details wie Akkustand und Standort in seine Antworten einbeziehen. Für Feldteams heißt das, eine KI-Antwort kann Kontext über das Gerät tragen, das die Frage gestellt hat. Praktisch, wenn Sie mehrere Funkgeräte zugleich verfolgen.
Rundruf und gezielte Antworten
Sie können den ganzen Kanal ansprechen oder eine Antwort an einen einzelnen Knoten richten, und diese Flexibilität zählt in einem geteilten Mesh, wo ein Rundruf alle in Reichweite erreicht, eine gezielte Antwort aber die Funkwellen nicht verstopft.
Flexible Geräteverbindung
Die Plattform unterstützt USB-, TCP- und Bluetooth-Verbindungen zu Ihrer Meshtastic-Hardware. Sie legen die Schnittstelle in wenigen Codezeilen fest, sodass dasselbe Setup funktioniert, ob Ihr Knoten neben dem Rechner steht oder irgendwo sonst in Ihrem Netzwerk hängt. Drei Verbindungsarten, ein Skript.
Lokale Modelle über Ollama
Sie läuft mit Modellen über Ollama, also verlässt nichts Ihren Rechner und kein Cloud-Konto ist nötig. Sie wählen das Modell, indem Sie die Chat-Funktion bearbeiten, und die README schlägt llama 3.2:3b als Einstieg vor. Mit einem kleinen Modell hält selbst bescheidene Hardware mit. Größere Modelle liefern bessere Antworten, wenn Ihr Rechner sie schafft.
Vor- und Nachteile
Vorteile
- Läuft über Ollama vollständig offline, braucht also kein Internet und kein Cloud-Abo.
- Kostenlos und quelloffen, mit klaren Anleitungen zum Hinzufügen eigener Werkzeuge.
- Bewältigt lange Antworten mit automatischer Aufteilung für kurze Funknachrichten.
- Speichert den Gesprächsverlauf, sodass kontextbezogene Folgefragen funktionieren.
Nachteile
- Das Setup verlangt Python-Kenntnisse und ein funktionierendes Meshtastic-Gerät, ist also nichts für Gelegenheitsnutzer.
- Heute ist nur ein Werkzeug dabei (eine Notruf-Demo), und die README kündigt mehr an.
- Der Werkzeugeinsatz bei kleinen Modellen ist noch nicht zuverlässig, und das Projekt selbst rät zu umfangreichen Tests vorab.
- Antworten sind durch die Länge der Funknachrichten begrenzt, lange Ausgaben kommen also in Fragmenten an.
Häufige Fragen
Es verbindet ein lokales KI-Modell mit einem Meshtastic-Funknetz, damit Leute im Mesh mit einem LLM chatten und Aufgaben auslösen können, ganz ohne Internetverbindung. Keine Cloud, kein Mobilfunknetz, kein Problem.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Off-grid LLM over Radio.
Alternativen zu Off-grid LLM over Radio
Odyssey 3
Odyssey · SonstigesOdyssey-3 ist Odysseys fundamentales Weltmodell. Es simuliert Physik in Echtzeit, macht aus einer Eingabe eine interaktive Umgebung und lässt sich an Roboter, Autos und Spiele anpassen.
JarvisCore
Prescott Data · Coding · Produktivität · SonstigesJarvisCore ist eine Open-Source-Laufzeit in Python, in der KI-Agenten als gleichrangige Peers in einem Mesh arbeiten, Aufgaben aus einem gemeinsamen Register übernehmen und externe Dienste über einen Zero-Trust-Broker erreichen.
Clef
Cloudflare · Business · SonstigesClef ist Cloudflares Open-Source-Entscheidungsmodell für Workers AI. Es liefert kalibrierte Wahrscheinlichkeiten für typisierte Fragen statt Text, damit Agenten schnell klassifizieren, routen und handeln.