Lora

Lora 是一款跑在手機本身的語言模型。PeekabooLabs 為行動裝置打造它，整套模型約 1.5GB、2.4 億參數等級……不對，是 2.4B，也就是 24 億參數。你不會把提示詞送到資料中心等回覆，Lora AI 就待在裝置上，在同一個地方回答。

這個選擇決定了後面的一切。因為沒有任何內容離開手機，Lora 在飛航模式與訊號不良的地方照樣運作，使用者輸入的內容也留在裝置上。對於要處理私人筆記、健康資料或工作文件的應用程式來說，這一點很關鍵。廠商把它與 GPT-4o-mini 放在同一個水準，但那是 Peekaboo Labs 自己的說法，不是獨立評測。

Lora 不是能從商店下載的消費級 App，而是給開發者用的元件。公司發布了一個名為 lora_sdk 的 Flutter 套件，你把它放進 iOS 或 Android 應用程式，就能加入聊天或文字生成功能。執行時需要一組來自 Peekaboo Labs 儀表板的授權金鑰，每組金鑰都有自己的使用上限。公司另外開發 Carve，這項服務把 AI 模型調整成適合在裝置上執行，所以 Lora 屬於把模型放到手機、而不是藏在 API 背後的更大趨勢。想把離線 AI 助理做進自家應用程式的團隊，看上的就是這一點。

最大的問題在於範圍。2.4B 的模型在困難推理、長時間研究或需要龐大知識庫的工作上，贏不了頂尖模型。它針對的是手機能勝任的快速、明確任務。如果你的應用程式需要深度分析，Lora 最適合與雲端模型搭配，而不是取代它。

Getting Started

1. 在 Lora 官網建立帳號，打開儀表板找到你的授權金鑰。
2. 把 lora_sdk 這個 Flutter 套件加進應用程式，確認平台需求為 iOS 13 以上、Android SDK 23 以上。
3. 用授權金鑰與一個 LLM 供應商初始化 SDK，讓模型下載到裝置。
4. 執行預熱步驟，讓模型在第一次請求前就緒。
5. 呼叫生成函式取得單次回覆，或用串流版本邊產生邊顯示文字。
6. 發布應用程式，並透過 SDK 的狀態物件追蹤變化。