Off-grid LLM over Radio
pham-tuan-binh (open-source project) · Autres · Chatbot
Off-grid LLM over Radio relie un LLM local aux réseaux maillés Meshtastic, et offre aux randonneurs et équipes isolées un chat IA et l'automatisation de tâches sans internet.
À propos de Off-grid LLM over Radio
Qu'est-ce que Off-grid LLM over Radio
Off-grid LLM over Radio est une plateforme open source qui connecte un grand modèle de langage à un réseau maillé Meshtastic, un ensemble de radios de faible puissance qui échangent des messages texte entre les nœuds, sans antenne-relais ni Wi-Fi. N'importe qui sur ce maillage radio peut parler à un LLM et recevoir de courtes réponses, même sans aucune connexion internet.
Le montage résout bien un problème très précis. Les équipes de secours, les randonneurs et les communautés isolées disposent souvent d'un contact radio mais d'aucun signal de données, si bien que la liaison radio est leur seul canal. Cette plateforme transforme cette liaison en canal d'IA : le message que vous tapez part par le maillage, un ordinateur connecté exécute le modèle via Ollama, et la réponse revient par le même chemin.
Ce n'est pas une appli prête à l'emploi. Il vous faut un appareil Meshtastic, une machine sous Python et une bonne maîtrise de la ligne de commande pour arriver à quelque chose. Si vous cherchez un chat IA hors ligne qui fonctionne dès l'installation, ce n'est pas ça. Le README du projet prévient d'ailleurs que l'usage d'outils sur de petits modèles n'est pas encore fiable, alors testez beaucoup avant de vous y fier sur le terrain. L'intérêt de la communauté est réel, mais l'outillage reste jeune.
Pour démarrer
- Installez Python 3.8 ou plus récent, ainsi que la bibliothèque Python Meshtastic, le SDK Ollama et la bibliothèque PubSub.
- Clonez le dépôt et installez les dépendances avec
pip install -r requirement.txt. - Reliez votre appareil Meshtastic en USB, TCP ou Bluetooth, puis pointez le script vers cette interface.
- Lancez
python main.pypour démarrer le bot sur votre canal maillé. - Envoyez
/enable_llmpour activer le chat, ou/tool votre_messagepour déclencher une tâche.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Off-grid LLM over Radio.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Randonneurs et baroudeurs
- Équipes de secours et de terrain
- Passionnés de radio et fans de Meshtastic
Tâches
- Réponses aux questions hors ligne
- Automatisation de tâches radio
- Recherche de capteurs et de nœuds
Cas d'usage
- Zones reculées sans couverture de données
- Exercices d'urgence et préparation aux catastrophes
- Expérimentation de terrain
Fonctionnalités clés
Chat bidirectionnel entre le maillage et le LLM
Les messages circulent dans les deux sens entre le réseau Meshtastic et le modèle. N'importe qui sur le maillage peut envoyer une requête et recevoir une réponse, et la plateforme conserve l'historique pour que les questions suivantes gardent le contexte. Cela fonctionne presque comme un bot de chat, sauf que ça passe par la radio au lieu d'internet. Pas de signal ? Pas de souci.
Exécution d'outils depuis une requête
Le préfixe /tool permet au modèle d'exécuter des actions au lieu de simplement répondre à des questions. Le projet livre un exemple fonctionnel, une démo pour appeler les secours, et le README explique comment ajouter votre propre outil en modifiant le gestionnaire, le registre et les fichiers de configuration. C'est ici que la plateforme dépasse le simple relais de chat, et le câblage, c'est vous qui le faites.
Découpage automatique des messages
Les messages radio sont courts, alors les longues réponses du LLM sont découpées automatiquement. La plateforme coupe autour de 200 caractères, ce qui garde les réponses lisibles sur le maillage. Vous ne rognez pas la sortie à la main.
Réponses conscientes du nœud
Le bot peut intégrer à ses réponses des détails propres à un nœud, comme le niveau de batterie et la position. Pour les équipes de terrain, cela veut dire qu'une réponse d'IA peut porter le contexte de l'appareil qui a posé la question. Pratique quand vous suivez plusieurs radios à la fois.
Réponses diffusées et ciblées
Vous pouvez répondre à tout le canal ou adresser une réponse à un seul nœud, et cette souplesse compte sur un maillage partagé, où une diffusion touche tout le monde à portée mais une réponse ciblée évite d'encombrer les ondes.
Connexion d'appareil flexible
La plateforme prend en charge les liaisons USB, TCP et Bluetooth avec votre matériel Meshtastic. Vous définissez l'interface en quelques lignes de code, donc le même montage fonctionne que votre nœud soit à côté de l'ordinateur ou ailleurs sur votre réseau. Trois types de connexion, un seul script.
Modèles locaux via Ollama
Elle fait tourner les modèles via Ollama, donc rien ne quitte votre machine et aucun compte cloud n'est requis. Vous choisissez le modèle en modifiant la fonction de chat, et le README suggère llama 3.2:3b comme point de départ. Avec un petit modèle, même une machine modeste suit le rythme. Les gros modèles donnent de meilleures réponses, si votre machine les supporte.
Avantages et inconvénients
Avantages
- Fonctionne entièrement hors ligne via Ollama, donc aucun besoin d'internet ni d'abonnement cloud.
- Gratuit et open source, avec des instructions claires pour ajouter vos propres outils.
- Gère les longues réponses grâce au découpage automatique pour les courts messages radio.
- Conserve l'historique de conversation, donc les questions de suivi contextualisées fonctionnent.
Inconvénients
- L'installation exige des compétences en Python et un appareil Meshtastic fonctionnel, donc ce n'est pas pour les utilisateurs occasionnels.
- Un seul outil (une démo de secours) est livré aujourd'hui, et le README annonce que d'autres arrivent.
- L'usage d'outils sur de petits modèles n'est pas encore fiable, et le projet lui-même vous demande de tester longuement d'abord.
- Les réponses sont plafonnées par la taille des messages radio, donc les sorties longues arrivent en morceaux.
Questions fréquentes
Il connecte un modèle d'IA local à un réseau radio Meshtastic pour que les personnes sur le maillage puissent discuter avec un LLM et déclencher des tâches sans aucune connexion internet. Pas de cloud, pas de réseau mobile, pas de souci.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Off-grid LLM over Radio.
Alternatives à Off-grid LLM over Radio
Odyssey 3
Odyssey · AutresOdyssey-3 est le modèle du monde fondationnel d'Odyssey. Il simule la physique en temps réel, transforme une consigne en environnement interactif et s'adapte aux robots, voitures et jeux.
JarvisCore
Prescott Data · Programmation · Productivité · AutresJarvisCore est un runtime Python open source où les agents IA travaillent en pairs sur un maillage, prennent les tâches dans un registre partagé et joignent les services externes via un broker zero trust.
Clef
Cloudflare · Entreprise · AutresClef est le modèle de décision open source de Cloudflare pour Workers AI. Il renvoie des probabilités calibrées pour des questions typées au lieu de texte, ce qui permet à un agent de classer, router et agir vite.