Off-grid LLM over Radio
pham-tuan-binh (open-source project) · 其他 · 聊天機器人
Off-grid LLM over Radio 把本機 LLM 連上 Meshtastic 網狀網路，讓登山客與偏遠團隊在沒有網路的情況下也能用 AI 對話和自動化任務。
關於 Off-grid LLM over Radio
什麼是 Off-grid LLM over Radio
Off-grid LLM over Radio 是一套開源平台，把大型語言模型連上 Meshtastic 網狀網路，也就是一組低功率無線電裝置，彼此在節點之間傳遞文字訊息，不需要基地台或 Wi-Fi。網狀網路上的任何人都能和 LLM 對話並收到簡短回覆，即使當下完全沒有網路連線。
這套設定把一個很窄的問題解得很好。搜救隊、登山客與離網社群往往只有無線電可通，沒有任何資料訊號，所以無線電就成了他們唯一的通道。這個平台把那條通道變成 AI 通道：你打的訊息透過網狀網路送出，連接的電腦用 Ollama 跑模型，答案再從同一條路回來。
它不是隨插即用的應用程式。你需要一台 Meshtastic 裝置、一台能跑 Python 的機器，還要對命令列有一定掌握才走得下去。如果你想要一裝就能用的離線 AI 對話，這不是那條路。專案自己的 README 也警告，小型模型上的工具呼叫目前還不可靠，所以在真的倚賴它之前要先大量測試。社群的興趣是真的，但工具還很初期。
開始使用
- 安裝 Python 3.8 或更新版本，以及 Meshtastic 的 Python 函式庫、Ollama SDK 和 PubSub 函式庫。
- 複製儲存庫，並用
pip install -r requirement.txt安裝相依套件。 - 透過 USB、TCP 或藍牙連接你的 Meshtastic 裝置，再把腳本指向那個介面。
- 執行
python main.py，在你的網狀頻道上啟動機器人。 - 傳送
/enable_llm開啟對話，或傳送/tool 你的訊息觸發任務。
產品資訊
快速了解 Off-grid LLM over Radio 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 登山客與背包客：在沒有行動訊號時，讓 AI 幫手保持在無線電範圍內，前提是網狀網路上有人負責跑主機。
- 搜救與外勤團隊：透過網狀網路轉傳簡短的 AI 指令或摘要，但務必先把模型徹底測試過。
- 無線電玩家與 Meshtastic 愛好者：如果你熟悉編輯 Python 與設定檔，可以試著把類似 Telegram 的機器人接上無線電網路。
任務
- 離線問答：傳一則簡單訊息，取得由本機模型生成的簡潔回覆。
- 自動化無線電任務：加入並註冊自訂工具後，用 `/tool` 指令觸發像是通報緊急服務之類的動作。
- 感測器與節點查詢：把電池電量或位置等節點細節帶進 AI 回覆，掌握現場狀況。
情境
- 沒有資料覆蓋的偏遠地區：當網路與電話都不通，仍能透過網狀網路與 AI 保持聯繫。
- 緊急演練與防災準備：預演當正常網路失效時，團隊如何透過無線電連上自動化助手。
- 現場實驗：在真正部署之前，先測試小型本機模型如何處理無線電送出的提示。
主要功能
網狀網路與 LLM 雙向對話
訊息在 Meshtastic 網路與模型之間雙向流動。網狀網路上的任何人都能送出提示並取得回覆，平台會保留訊息紀錄，讓後續追問維持在同一個脈絡裡。運作起來很像聊天機器人，只是走無線電而不是網路。沒訊號？沒問題。
用提示觸發工具
/tool 前綴讓模型執行動作，而不只是回答問題。專案內建一個可用的範例，也就是呼叫緊急服務的示範，README 也說明如何修改處理器、註冊表與設定檔來加入自己的工具。這裡就是平台超越單純對話轉送的地方，而線路要你自己接。
自動分段傳送訊息
無線電訊息很短，所以 LLM 的長回覆會自動切成片段。平台大約在 200 個字元處斷開，讓回覆在網狀網路上保持可讀。你不必手動修剪輸出。
感知節點的回覆
機器人能把電池電量與位置等節點專屬細節帶進回覆。對外勤團隊來說，這代表 AI 回覆可以帶著提問裝置的脈絡。同時追蹤好幾台無線電時特別好用。
廣播與定向回覆
你可以回覆整個頻道，也可以把回覆指向單一節點，這種彈性在共用網狀網路上很重要，因為廣播會傳給範圍內所有人，而定向回覆能避免佔滿頻寬。
彈性的裝置連線
平台支援 USB、TCP 與藍牙連接你的 Meshtastic 硬體。介面只要幾行程式就能設定，所以不論你的節點就在電腦旁邊，或掛在網路上的其他地方，同一套設定都能用。三種連線方式，一支腳本。
以 Ollama 為後端的本機模型
它透過 Ollama 跑模型，所以資料不會離開你的機器，也不需要雲端帳號。你修改對話函式就能挑選模型，README 建議以 llama 3.2:3b 起步。配上小模型，連規格普通的機器都跟得上。模型越大答案越好，前提是你的機器撐得住。
優缺點
優點
- 透過 Ollama 完全離線運作，不需要網路或雲端訂閱。
- 免費且開源，加入自訂工具的做法寫得清楚。
- 用自動分段處理長回覆，配合簡短的無線電訊息。
- 保留對話紀錄，所以能依脈絡追問。
缺點
- 安裝需要 Python 能力與可用的 Meshtastic 裝置，不適合一般隨手使用者。
- 目前只內建一個工具（緊急服務示範），README 說之後會增加。
- 小型模型上的工具呼叫還不可靠，專案本身就請你先大量測試。
- 回覆受無線電訊息長度限制，所以長輸出會以片段送達。
常見問題
它把本機 AI 模型連上 Meshtastic 無線電網路，讓網狀網路上的人能與 LLM 對話並觸發任務，完全不需要網路連線。沒有雲端、沒有行動訊號，都不是問題。
相關內容
探索與 Off-grid LLM over Radio 相關的工具、技能與文章。
Off-grid LLM over Radio 替代方案
Odyssey 3
Odyssey · 其他Odyssey-3 是 Odyssey 的基礎世界模型，能即時模擬物理，把一段文字提示變成可互動的環境，並套用到機器人、汽車與遊戲上。
JarvisCore
Prescott Data · 程式設計 · 生產力 · 其他JarvisCore 是開源的 Python 執行環境，讓 AI 代理在網格上以對等節點運作、從共用帳本認領任務，並透過零信任代理服務存取外部系統。
Clef
Cloudflare · 商業 · 其他Clef 是 Cloudflare 推出、可在 Workers AI 上執行的開源決策模型。它針對設定好的題目回傳校準後的機率而非生成文字，讓代理程式快速分類、分流並採取行動。