Off-grid LLM over Radio
pham-tuan-binh (open-source project) · Outros · Chatbot
O Off-grid LLM over Radio conecta um LLM local a redes em malha Meshtastic e dá a trilheiros e equipes remotas chat de IA e automação de tarefas sem internet.
Sobre Off-grid LLM over Radio
O que é o Off-grid LLM over Radio
O Off-grid LLM over Radio é uma plataforma de código aberto que liga um modelo de linguagem grande a uma rede em malha Meshtastic, um conjunto de rádios de baixa potência que trocam mensagens de texto entre nós sem torres de celular nem Wi-Fi. Qualquer pessoa nessa malha de rádio pode conversar com um LLM e receber respostas curtas, mesmo quando não existe conexão com a internet.
A montagem resolve bem um problema bem específico. Equipes de busca e salvamento, trilheiros e comunidades off-grid muitas vezes têm contato por rádio, mas nenhum sinal de dados, então o enlace de rádio é o único canal que lhes resta. Esta plataforma transforma esse enlace em um canal de IA: a mensagem que você digita sai pela malha, um computador conectado roda o modelo pelo Ollama e a resposta volta pelo mesmo caminho.
Não é um app plug-and-play. Você precisa de um dispositivo Meshtastic, de uma máquina com Python e de uma boa noção de linha de comando para chegar a algum lugar. Se você quer um chat de IA offline que simplesmente funcione de cara, isto não é aquilo. O próprio README do projeto avisa que o uso de ferramentas em modelos pequenos ainda não é confiável, então teste bastante antes de depender dele em campo. O interesse da comunidade é real, mas as ferramentas ainda são verdes.
Como começar
- Instale o Python 3.8 ou superior junto com a biblioteca Meshtastic para Python, o SDK do Ollama e a biblioteca PubSub.
- Clone o repositório e instale as dependências com
pip install -r requirement.txt. - Conecte seu dispositivo Meshtastic por USB, TCP ou Bluetooth e aponte o script para essa interface.
- Rode
python main.pypara iniciar o bot no seu canal de malha. - Envie
/enable_llmpara ativar o chat, ou/tool sua_mensagempara disparar uma tarefa.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Off-grid LLM over Radio.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Trilheiros e mochileiros
- Equipes de busca e salvamento e de campo
- Radioamadores e fãs do Meshtastic
Tarefas
- Respostas a perguntas offline
- Automatizar tarefas de rádio
- Consultas de sensores e nós
Cenários
- Áreas remotas sem cobertura de dados
- Simulados de emergência e preparação para desastres
- Experimentação em campo
Principais recursos
Chat bidirecional entre a malha e o LLM
As mensagens vão e voltam entre a rede Meshtastic e o modelo. Qualquer pessoa na malha pode enviar um prompt e receber uma resposta, e a plataforma guarda o histórico para que as perguntas seguintes mantenham o contexto. Funciona quase como um bot de chat, só que trafega por rádio em vez da internet. Sem sinal? Sem problema.
Execução de ferramentas a partir de um prompt
O prefixo /tool deixa o modelo executar ações em vez de apenas responder perguntas. O projeto traz um exemplo funcional, uma demo para chamar os serviços de emergência, e o README explica como adicionar sua própria ferramenta editando o handler, o registro e os arquivos de configuração. É aqui que a plataforma vai além de um simples repetidor de chat, e a ligação você faz por conta própria.
Fatiamento automático de mensagens
As mensagens de rádio são curtas, então respostas longas do LLM são divididas em partes de forma automática. A plataforma corta em cerca de 200 caracteres, o que mantém as respostas legíveis na malha. Você não recorta a saída na mão.
Respostas cientes do nó
O bot consegue incluir detalhes de um nó específico, como nível de bateria e localização, em suas respostas. Para equipes de campo, isso significa que uma resposta de IA pode carregar contexto sobre o dispositivo que fez a pergunta. Útil na hora de acompanhar vários rádios ao mesmo tempo.
Respostas em broadcast e direcionadas
Você pode responder ao canal inteiro ou direcionar uma resposta a um único nó, e essa flexibilidade importa numa malha compartilhada, onde um broadcast alcança todos ao alcance, mas uma resposta direcionada evita congestionar as ondas.
Conexão de dispositivo flexível
A plataforma aceita enlaces USB, TCP e Bluetooth com seu hardware Meshtastic. Você define a interface em poucas linhas de código, então a mesma montagem funciona tanto se o seu nó fica ao lado do computador quanto se está pendurado em outro ponto da sua rede. Três tipos de conexão, um só script.
Modelos locais com Ollama
Roda modelos pelo Ollama, então nada sai da sua máquina e não é preciso conta na nuvem. Você escolhe o modelo editando a função de chat, e o README sugere o llama 3.2:3b como ponto de partida. Com um modelo pequeno, até um equipamento modesto acompanha o ritmo. Modelos maiores dão respostas melhores, se a sua máquina aguentar.
Prós e contras
Prós
- Roda inteiramente offline pelo Ollama, então não precisa de internet nem assinatura na nuvem.
- Gratuito e de código aberto, com instruções claras para adicionar suas próprias ferramentas.
- Lida com respostas longas com fatiamento automático para as mensagens curtas de rádio.
- Guarda o histórico da conversa, então perguntas de acompanhamento com contexto funcionam.
Contras
- A montagem exige conhecimento de Python e um dispositivo Meshtastic funcionando, então não é para usuários casuais.
- Hoje traz só uma ferramenta (uma demo de serviços de emergência), e o README diz que virão mais.
- O uso de ferramentas em modelos pequenos ainda não é confiável, e o próprio projeto pede para testar muito antes.
- As respostas ficam limitadas pelo tamanho das mensagens de rádio, então saídas longas chegam em fragmentos.
Perguntas frequentes
Liga um modelo de IA local a uma rede de rádio Meshtastic para que as pessoas na malha possam conversar com um LLM e disparar tarefas sem nenhuma conexão com a internet. Sem nuvem, sem sinal de celular, sem problema.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Off-grid LLM over Radio.
Alternativas a Off-grid LLM over Radio
JarvisCore
Prescott Data · Programação · Produtividade · OutrosJarvisCore é um runtime de código aberto em Python em que agentes de IA atuam como pares numa malha, assumem tarefas de um registro compartilhado e chegam a serviços externos por um broker sem confiança.
Clef
Cloudflare · Negócios · OutrosClef é o modelo de decisão open source da Cloudflare para o Workers AI. Devolve probabilidades calibradas para perguntas tipadas em vez de texto, então o agente classifica, roteia e age rápido.
iFixAi
iFixAi · Negócios · OutrosO iFixAi é um auditor de código aberto para agentes de IA. Ele coloca o agente numa simulação do seu negócio, avalia cada resposta e devolve uma nota de A a F com provas.