Off-grid LLM over Radio
pham-tuan-binh (open-source project) · 기타 · 챗봇
Off-grid LLM over Radio는 로컬 LLM을 Meshtastic 메시 네트워크에 연결해, 등산객과 원격 팀에 인터넷 없는 AI 채팅과 작업 자동화를 제공한다.
Off-grid LLM over Radio 소개
Off-grid LLM over Radio란
Off-grid LLM over Radio는 대규모 언어 모델을 Meshtastic 메시 네트워크에 연결하는 오픈소스 플랫폼이다. Meshtastic은 기지국이나 Wi-Fi 없이 노드 사이에서 문자 메시지를 주고받는 저전력 무선 장비의 묶음이다. 그 무선 메시에 있는 누구든 인터넷 연결이 전혀 없어도 LLM과 대화하고 짧은 답을 받을 수 있다.
이 구성은 좁은 문제 하나를 잘 해결한다. 구조대와 등산객, 오프그리드 공동체는 무선 연락은 되지만 데이터 신호가 없는 경우가 많아, 무선 링크가 유일한 통로가 된다. 이 플랫폼은 그 무선 링크를 AI 통로로 바꾼다. 입력한 메시지는 메시를 통해 나가고, 연결된 컴퓨터가 Ollama로 모델을 돌리고, 답은 같은 길로 돌아온다.
플러그 앤 플레이 앱은 아니다. Meshtastic 장치와 Python이 도는 컴퓨터, 그리고 명령줄에 대한 어느 정도의 이해가 있어야 뭔가 해볼 수 있다. 설치하자마자 되는 오프라인 AI 채팅을 원한다면 이건 그런 게 아니다. 프로젝트 README 자체도 소형 모델의 도구 사용은 아직 신뢰할 수 없다고 경고하니, 현장에서 의존하기 전에 충분히 테스트해야 한다. 커뮤니티의 관심은 실제지만 도구는 아직 초기 단계다.
시작하기
- Python 3.8 이상과 Meshtastic Python 라이브러리, Ollama SDK, PubSub 라이브러리를 설치한다.
- 저장소를 복제하고
pip install -r requirement.txt로 의존성을 설치한다. - Meshtastic 장치를 USB, TCP, 블루투스 중 하나로 연결하고 스크립트를 그 인터페이스로 향하게 한다.
python main.py를 실행해 메시 채널에서 봇을 시작한다./enable_llm을 보내 채팅을 켜거나,/tool 메시지로 작업을 실행한다.
제품 정보
Off-grid LLM over Radio의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 등산객과 배낭여행자
- 구조대와 야외 팀
- 무선 애호가와 Meshtastic 팬
작업
- 오프라인 질의응답
- 무선 작업 자동화
- 센서와 노드 조회
활용 상황
- 데이터가 닿지 않는 오지
- 비상 훈련과 재난 대비
- 현장 실험
주요 기능
메시와 LLM의 양방향 채팅
메시지는 Meshtastic 네트워크와 모델 사이를 양방향으로 오간다. 메시에 있는 누구든 프롬프트를 보내 답을 받고, 플랫폼은 대화 기록을 남겨 후속 질문이 문맥을 유지한다. 채팅봇과 거의 같다. 다만 인터넷이 아니라 무선으로 실린다. 신호가 없다고? 문제없다.
프롬프트에서 실행하는 도구
/tool 접두사를 쓰면 모델이 질문에 답하는 데 그치지 않고 동작을 실행한다. 프로젝트에는 긴급 구조를 호출하는 데모라는 동작하는 예시가 하나 들어 있고, README는 핸들러와 레지스트리, 설정 파일을 고쳐 직접 도구를 추가하는 방법을 설명한다. 플랫폼이 단순한 채팅 중계를 넘어서는 지점이며, 배선은 직접 하는 몫이다.
메시지 자동 분할
무선 메시지는 짧아서 LLM의 긴 답은 자동으로 조각난다. 플랫폼은 약 200자에서 끊어, 메시에서도 답을 읽기 좋게 유지한다. 출력을 손으로 다듬을 필요가 없다.
노드 인식 응답
봇은 배터리 잔량과 위치 같은 노드별 세부 정보를 답변에 넣을 수 있다. 야외 팀에게는 AI 답변이 질문한 기기의 맥락을 실을 수 있다는 뜻이다. 무선기를 여러 대 동시에 추적할 때 유용하다.
전체 방송과 지정 응답
채널 전체에 답하거나 특정 노드 하나로 응답을 보낼 수 있다. 이 유연성은 공유 메시에서 중요하다. 방송은 사거리 안 모두에게 닿지만, 지정 응답은 전파를 어지럽히지 않는다.
유연한 기기 연결
플랫폼은 Meshtastic 하드웨어로의 USB, TCP, 블루투스 연결을 지원한다. 인터페이스는 몇 줄의 코드로 정하므로, 노드가 컴퓨터 옆에 있든 네트워크 다른 곳에 매달려 있든 같은 구성이 통한다. 연결 방식은 세 가지, 스크립트는 하나.
Ollama 기반 로컬 모델
Ollama를 통해 모델을 돌리므로 데이터가 기기 밖으로 나가지 않고 클라우드 계정도 필요 없다. 채팅 함수를 고쳐 모델을 고르며, README는 llama 3.2:3b를 출발점으로 권한다. 소형 모델을 쓰면 보통 사양의 기기도 따라간다. 더 큰 모델일수록 답이 좋아지지만, 기기가 감당할 때 이야기다.
장단점
장점
- Ollama를 통해 완전히 오프라인으로 돌아가므로 인터넷도 클라우드 구독도 필요 없다.
- 무료 오픈소스이며 직접 도구를 추가하는 방법이 명확하다.
- 짧은 무선 메시지에 맞춰 자동 분할로 긴 답을 처리한다.
- 대화 기록을 남겨 문맥을 반영한 후속 질문이 된다.
단점
- 설치에 Python 실력과 동작하는 Meshtastic 장치가 필요해 가벼운 사용자에게는 맞지 않는다.
- 지금은 도구가 하나(긴급 구조 데모)만 들어 있고, README는 더 늘어날 예정이라고 밝힌다.
- 소형 모델의 도구 사용은 아직 신뢰할 수 없고, 프로젝트 스스로 먼저 충분히 시험하라고 말한다.
- 응답이 무선 메시지 길이에 묶여, 긴 출력은 조각으로 도착한다.
자주 묻는 질문
로컬 AI 모델을 Meshtastic 무선 네트워크에 연결해, 메시에 있는 사람이 인터넷 연결 없이 LLM과 대화하고 작업을 실행하게 한다. 클라우드도 휴대폰 신호도 필요 없다.
관련 콘텐츠
Off-grid LLM over Radio와 관련된 도구, 스킬, 아티클을 살펴보세요.
Off-grid LLM over Radio 대안
Koreshield
Koreshield · 비즈니스 · 기타Koreshield는 AI 지원 에이전트를 위한 런타임 보안과 증거 계층이다. 고객 메시지, 검색된 문맥, 에이전트가 제안한 작업이 모델에 도달하거나 환불을 실행하기 전에 확인한다.
Firecrawl
Firecrawl (Mendable AI) · 코딩 · 기타Firecrawl은 웹 페이지를 깔끔한 Markdown이나 구조화 JSON으로 바꾸는 웹 데이터 API다. AI 에이전트가 검색하고 크롤링하며 실시간 웹을 읽는다.
BinkBink
BinkBink · 기타BinkBink는 무료 온라인 게임 플랫폼이자 AI 게임 메이커로, 누구나 짧은 텍스트 설명을 플레이 가능한 브라우저 게임으로 바꿀 수 있다. 커뮤니티가 만든 수백 개의 게임에 바로 뛰어들 수 있다. 아니면 자기 아이디어를 설명하고 몇 초 만에 플레이한 뒤 친구와 공유하면 된다. 내 게임을 만들고 싶은가? 코딩은 필요 없다. 엔진 설정도, 다운로드도, 번거로움도 없다.