Awan LLM
Awan LLM · 程式設計 · 其他
Awan LLM 是採月費制的 Llama 模型 API，收固定月租而非依 token 計價，端點格式與 OpenAI 相近，方案從免費到每月 80 美元。
關於 Awan LLM
About
Awan LLM 是什麼
Awan LLM 是一套推論 API，用月租的方式提供 Llama 開源模型的存取權，而不是按 token 收費。註冊帳號、取得金鑰之後，把請求送到 chat completions 端點即可，請求結構與 OpenAI 一致。無論你送出幾千個 token 還是上億個，帳單都一樣。
硬體由業者自己持有。Awan 表示 GPU 與機房都是自家的，還做了超頻，並自行調度負載，這也是它能喊出每月 5 到 80 美元、token 不限的原因。Awan 在印尼語裡是「雲」的意思，整套說法鎖定的是那些 token 費用早已超過專案預算的人。
兩個限制決定它適不適合你。公開模型清單只有 Llama 3 與 Llama 3.1 的 8B、70B，加上社群微調版本，沒有 GPT、Claude、Gemini 或 Mistral。另外，請求會依方案與模型等級設下每分鐘與每日上限，token 不限並不等於請求不限。
開始使用
- 到 awanllm.com 註冊並挑方案。Lite 免費且不用綁卡，用來確認端點的回應符合程式預期就夠了。
- 在控制台產生 API 金鑰，存放在應用程式讀得到的位置。
- 送出第一個請求到 https://api.awanllm.com/v1/chat/completions，帶上模型名稱與 messages 陣列，直接抄 Quick Start 頁面的 Python、TypeScript 或 shell 範例最快。
- 盯著速率限制。大型模型的每日額度用完時，把工作移到較小的模型，或等計數器重置。
- 等到請求上限開始卡住流程，再升級付費方案，而不是 token 用超了才升。
產品資訊
快速了解 Awan LLM 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 長時間與 AI 對話的玩家：token 不計量，一段對話可以連續跑好幾天而不必看花費錶，Lite 方案就能免費應付日常輕量使用。
- 預算有限的獨立開發者：每月 5 美元的 Core 方案把 token 記帳從程式裡拿掉，開發階段可以放心寫 log、重試與反覆測試提示詞。
- 寫小說與玩角色扮演的創作者：Cumulus 與 Dolfin 這類微調版本針對敘事與角色養成訓練，拒答情況少，主流 API 很難找到同樣的組合。
- 需要固定成本處理大量文字的團隊：批次摘要、標記或改寫，每個月都是同一筆支出，不會隨著實驗次數往上跳。
任務
- 大批文字處理：摘要、分類或改寫上千份文件，在 Pro 與 Max 方案下費用相同，不論實際送進多少字，很適合夜間批次作業。
- 長篇草稿：Llama 3.1 模型具備 131,072 token 的上下文，一份完整報告或一整段程式碼可以一次送進去，不必切塊。
- 聊天機器人與代理後端：請求沿用 OpenAI 的格式，既有的 SDK 與框架只要換掉 base URL 就能接上，原本跑在別家供應商的原型，一個下午就能搬過來。
- 無審查的創作書寫：社群微調版本接受一般端點會擋下的提示詞，寫恐怖小說、虛構故事或角色扮演時特別有用。
情境
- 側專案突然爆紅：固定月費讓你在內容瘋傳時不至於收到天價帳單，真正的天花板會變成每日請求上限。
- 測試一整組提示詞：同一個提示詞可以跑上百次比對輸出，不必一邊盯著用量表。
- 本機工具接遠端模型：程式補全、log 分析與測試產生，全都用同一把金鑰、同一張帳單。
主要功能
月費制的不限 token 用量
每個方案（含免費方案）都標榜 token 產生量不設限，只受各模型上下文長度限制。你付的是方案費，不是輸入或輸出的 token 費，所以超長提示詞或超長回覆都不會另外計價。這把一般的成本邏輯反了過來：用得越多越划算，忙碌的月份也不會冒出意外帳單。
OpenAI 風格的 Chat Completions
請求送到 https://api.awanllm.com/v1/chat/completions，model 與 messages 欄位跟 OpenAI 相同，另外多了 top_k、repetition_penalty 這類取樣控制。Quick Start 頁面附上 Python、TypeScript 與 shell 範例，多數 OpenAI SDK 只要換掉 base URL 和金鑰就能跑。串流也在支援範圍內，對聊天介面很重要，因為等不到完整回覆的感覺就像斷線。
依模型等級分開的速率限制
Awan 沒有採用單一總額度，而是把限制分成小、中、大三種模型等級，每個方案各有每分鐘與每日的額度。Lite 每天可送 200 次小型模型請求、10 次大型模型請求；Pro 提高到 80,000 與 30,000；Max 取消每日上限並開放平行請求。每分鐘上限從便宜方案的 20 次一路到 Max 的 200 次。
長上下文的 Llama 3.1
目前的主力是 Meta-Llama-3.1-8B-Instruct 與 Meta-Llama-3.1-70B-Instruct，兩者都列出 131,072 token 的上下文視窗。70B 負責較難的推理與長文撰寫，8B 回覆更快，也比較不吃你的請求額度。Awan 針對每個模型公布估計速度：8B 單次請求約每秒 50 token，70B 約每秒 20 token。
為創作而調的社群微調模型
除了 Meta 原版權重，清單上還有 Awan 自家的 Llama 3 8B 版本。Dolfin 強調精準遵循指令、拒答更少；Cumulus 針對故事與角色扮演，完全不拒答；另外還有一個 abliterated 版的 Instruct。這些都是小眾工具，但在小說與角色互動上，表現和經過濾的助理完全是兩回事，也是這家的無審查 Llama 模型陣容。
不記錄提示詞
Awan 在隱私政策中聲明不記錄提示詞與生成內容，首頁也重複這個說法。對於要把客戶素材、未發表草稿或私人對話送進 API 的人來說，這條政策往往是決定因素。請把它當成業者聲明，而不是經過稽核的保證；處理受監管資料時，合約條件仍要自行確認。
優缺點
優點
- token 不計量，等於把 token 計算從程式與預算裡整段拿掉。
- 免費的 Lite 是正式方案而非試用，也不必綁定付款方式。
- 請求沿用 OpenAI 的 chat 格式，既有 SDK 與代理框架換個 base URL 就能用。
- Llama 3.1 的 131,072 token 上下文，一份長文件一次就能處理完。
- 最貴方案每月 80 美元，對真正跑大量工作的人來說不算高。
缺點
- 模型清單只有 Llama，而且列出的版本停在 Llama 3 與 3.1，接不到 GPT、Claude、Gemini，也沒有更新的 Llama。
- token 不限，但 Max 以下的每個方案都有每日請求上限，真正會卡住的是吞吐量而不是 token。
- 付款只支援 PayPal，部分信用卡與公司帳戶因此被擋在門外。
- 客服只是一個電子郵件信箱，Enterprise 方案之前沒有狀態頁、SLA 或公開的可用性紀錄。
常見問題
Awan LLM 是一家 API 供應商，用月訂閱提供 Llama 開源模型，而不是按 token 收費。你付一個方案、把 chat completion 請求送到它的端點，就能在請求限額內產生模型上下文允許的所有 token。
相關內容
探索與 Awan LLM 相關的工具、技能與文章。
Awan LLM 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。