Hailo AI

Hailo AI 的核心概念是在資料產生的地方執行神經網路。每一顆 Hailo 處理器都在裝置上進行推論，因此影片與感測器資料不必離開硬體就能被分析。這降低了延遲、免除持續網路連線的需求，並讓敏感資料留在本機。這就是一台會自己思考的攝影機，與一台只是上傳影像的攝影機之間的差別。

Hailo-8 是 Hailo 最知名的晶片。它為電腦視覺工作負載提供最高 26 TOPS，典型耗電約 2.5 瓦，並把記憶體留在晶片上，而非依賴外部 DRAM。為什麼這種記憶體設計比單純的 TOPS 數字更重要？因為晶片可以持續忙於餵養自己的運算單元，而許多邊緣視覺系統正是在這裡流失效率。Hailo 表示它在面積與功耗效率上勝過競爭對手的邊緣處理器，採用它的介面卡以高畫面率執行 ResNet-50。

Hailo-10H 是為生成式工作而非純視覺打造的第二代零件。它以與前代相同的典型約 2.5 W 耗電，達到 40 TOPS 的 INT4 效能，Hailo 將它行銷為首批能在本機執行大型語言模型與視覺語言模型的獨立邊緣處理器之一。在 2B 參數模型上，它能在不到一秒內產生第一個 token，並維持每秒超過 10 個 token 的速度。它也能執行 Stable Diffusion 等影像生成模型。

Hailo-15 系列採取不同做法。它不是附加的加速器，而是完整的視覺處理器，把 Hailo 的 AI 核心與影像處理引擎配在一起，因此一台攝影機可以在單一晶片上擷取並分析影片。Hailo 稱該系列可達 20 TOPS。它有兩個等級。Hailo-15H 服務需要更多餘裕的高階攝影機，Hailo-15L 則鎖定成本與功耗是限制條件的量產型攝影機。

Hailo 把加速器做成可安裝於標準介面的模組。這在為現有設計加入 AI 時省下許多麻煩。Hailo-8、Hailo-8L 與 Hailo-10H 以 M.2 卡形式提供，可插入 PC 與嵌入式電路板；Hailo-8R 採用 mini PCIe 規格；Hailo-8 Century 系列則以 PCIe 卡出貨。Century 卡可擴展到 208 TOPS，用於密集的視訊工作負載，而 52 TOPS 的型號起價約 $249。

晶片沒有工具就毫無用處，而 Hailo 在軟體上投入相當扎實。Dataflow Compiler 把 TensorFlow、PyTorch、ONNX 與 Keras 的模型轉成晶片原生格式。HailoRT 是負責在硬體上執行推論的執行環境。Model Zoo 與 Vision Model Explorer 提供預訓練與預先最佳化的網路作為起點。應用程式套件附上可調整的可用範例。超過 10,000 名使用者的開發者社群在此之上持續建構。

Hailo 的零件不只是實驗室硬體。Hailo-8 支援工業溫度範圍與車規等級，Hailo-10H 則通過 AEC-Q100 Grade 2 認證，並計畫量產用於座艙顯示與駕駛監控等車用系統。這項認證讓供應商能把晶片放進車輛或工廠產線，而不必為了溫度與可靠性限制重新設計。