Off-grid LLM over Radio
pham-tuan-binh (open-source project) · Otro · Chatbot
Off-grid LLM over Radio conecta un LLM local a redes en malla Meshtastic, y da a excursionistas y equipos remotos chat de IA y automatización de tareas sin internet.
Acerca de Off-grid LLM over Radio
Qué es Off-grid LLM over Radio
Off-grid LLM over Radio es una plataforma de código abierto que conecta un modelo de lenguaje grande a una red en malla Meshtastic, un conjunto de radios de baja potencia que se pasan mensajes de texto entre nodos sin torres celulares ni Wi-Fi. Cualquiera en esa malla puede hablar con un LLM y recibir respuestas cortas, incluso cuando no existe conexión a internet.
El montaje resuelve bien un problema muy concreto. Equipos de rescate, excursionistas y comunidades fuera de la red suelen tener contacto por radio pero ninguna señal de datos, así que el enlace de radio es el único canal que les queda. Esta plataforma convierte ese enlace en un canal de IA: el mensaje que escribes sale por la malla, un ordenador conectado ejecuta el modelo con Ollama y la respuesta vuelve por el mismo camino.
No es una app plug-and-play. Necesitas un dispositivo Meshtastic, una máquina con Python y soltura con la línea de comandos para llegar a algún lado. Si buscas chat de IA sin conexión que funcione recién instalado, esto no es eso. El propio README del proyecto avisa de que el uso de herramientas con modelos pequeños todavía no es fiable, así que prueba a fondo antes de confiar en él sobre el terreno. El interés de la comunidad es real, aunque las herramientas aún están verdes.
Cómo empezar
- Instala Python 3.8 o superior junto con la librería Meshtastic de Python, el SDK de Ollama y la librería PubSub.
- Clona el repositorio e instala las dependencias con
pip install -r requirement.txt. - Conecta tu dispositivo Meshtastic por USB, TCP o Bluetooth y apunta el script a esa interfaz.
- Ejecuta
python main.pypara arrancar el bot en tu canal de malla. - Envía
/enable_llmpara activar el chat, o/tool tu_mensajepara lanzar una tarea.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de Off-grid LLM over Radio.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Excursionistas y mochileros
- Equipos de rescate y trabajo de campo
- Aficionados a la radio y fans de Meshtastic
Tareas
- Respuestas a preguntas sin conexión
- Automatizar tareas de radio
- Consultas de sensores y nodos
Casos de uso
- Zonas remotas sin cobertura de datos
- Simulacros de emergencia y preparación ante catástrofes
- Experimentación de campo
Funciones clave
Chat bidireccional entre la malla y el LLM
Los mensajes van y vienen entre la red Meshtastic y el modelo. Cualquiera en la malla puede enviar una indicación y recibir una respuesta, y la plataforma guarda el historial para que las preguntas de seguimiento mantengan el contexto. Funciona casi como un bot de chat, solo que viaja por radio en lugar de por internet. ¿Sin señal? Sin problema.
Ejecución de herramientas desde una indicación
El prefijo /tool deja que el modelo lleve a cabo acciones en vez de limitarse a responder preguntas. El proyecto incluye un ejemplo funcional, una demo para llamar a los servicios de emergencia, y el README explica cómo añadir tu propia herramienta editando el manejador, el registro y los archivos de configuración. Aquí es donde la plataforma va más allá de un simple repetidor de chat, y el cableado lo haces tú.
Troceado automático de mensajes
Los mensajes de radio son cortos, así que las respuestas largas del LLM se dividen en trozos de forma automática. La plataforma corta a unos 200 caracteres, lo que mantiene las respuestas legibles en la malla. No recortas la salida a mano.
Respuestas conscientes del nodo
El bot puede incorporar detalles de un nodo concreto, como el nivel de batería y la ubicación, a sus respuestas. Para los equipos de campo, eso significa que una respuesta de IA puede llevar contexto sobre el dispositivo que hizo la pregunta. Muy útil cuando sigues varias radios a la vez.
Respuestas difundidas y dirigidas
Puedes responder a todo el canal o dirigir una respuesta a un solo nodo, y esa flexibilidad importa en una malla compartida, donde una difusión llega a todos los que están al alcance pero una respuesta dirigida evita saturar las ondas.
Conexión de dispositivos flexible
La plataforma admite enlaces USB, TCP y Bluetooth con tu hardware Meshtastic. Defines la interfaz en unas pocas líneas de código, así que el mismo montaje sirve tanto si tu nodo está junto al ordenador como si cuelga en otro punto de tu red. Tres tipos de conexión, un solo script.
Modelos locales con Ollama
Funciona con modelos a través de Ollama, así que nada sale de tu máquina y no hace falta cuenta en la nube. Eliges el modelo editando la función de chat, y el README sugiere llama 3.2:3b como punto de partida. Con un modelo pequeño, hasta un equipo modesto aguanta el ritmo. Los modelos más grandes dan mejores respuestas, si tu máquina los soporta.
Ventajas y desventajas
Ventajas
- Funciona por completo sin conexión a través de Ollama, así que no necesita internet ni suscripción en la nube.
- Gratis y de código abierto, con instrucciones claras para añadir tus propias herramientas.
- Maneja respuestas largas con troceado automático para los mensajes cortos de radio.
- Guarda el historial de conversación, así que las preguntas de seguimiento con contexto funcionan.
Desventajas
- El montaje exige conocimientos de Python y un dispositivo Meshtastic que funcione, así que no es para usuarios ocasionales.
- Hoy solo incluye una herramienta (una demo de servicios de emergencia), y el README dice que vendrán más.
- El uso de herramientas con modelos pequeños aún no es fiable, y el propio proyecto te pide probar mucho antes.
- Las respuestas están limitadas por el tamaño de los mensajes de radio, así que las salidas largas llegan en fragmentos.
Preguntas frecuentes
Conecta un modelo de IA local a una red de radio Meshtastic para que la gente de la malla pueda chatear con un LLM y lanzar tareas sin ninguna conexión a internet. Sin nube, sin señal móvil, sin problema.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con Off-grid LLM over Radio.
Alternativas a Off-grid LLM over Radio
Odyssey 3
Odyssey · OtroOdyssey-3 es el modelo del mundo fundacional de Odyssey. Simula física en tiempo real, convierte una descripción en un entorno interactivo y se adapta a robots, coches y videojuegos.
JarvisCore
Prescott Data · Programación · Productividad · OtroJarvisCore es un runtime de código abierto en Python donde los agentes de IA actúan como pares en una malla, reclaman tareas de un libro mayor compartido y llegan a servicios externos por un bróker sin confianza.
Clef
Cloudflare · Negocios · OtroClef es el modelo de decisión de código abierto de Cloudflare para Workers AI. Devuelve probabilidades calibradas para preguntas tipadas en lugar de texto, así que un agente clasifica, enruta y actúa rápido.