Hailo AI

Die Kernidee hinter Hailo AI ist, neuronale Netze dort auszuführen, wo die Daten entstehen. Jeder Hailo-Prozessor macht die Inferenz auf dem Gerät, Video- und Sensordaten müssen also nicht das Gerät verlassen, um analysiert zu werden. Das senkt die Latenz, macht eine ständige Netzwerkverbindung überflüssig und hält sensible Daten lokal. Es ist der Unterschied zwischen einer Kamera, die selbst denkt, und einer, die nur Filmmaterial hochlädt.

Der Hailo-8 ist Hailos bekanntester Chip. Er liefert bis zu 26 TOPS für Computer-Vision-Arbeitslasten bei typischen etwa 2,5 Watt und hält seinen Speicher auf dem Chip, statt auf externes DRAM zu setzen. Warum zählt dieses Speicherdesign mehr als die reine TOPS-Zahl? Weil der Chip damit beschäftigt bleiben kann, seine eigenen Recheneinheiten zu versorgen, und genau dort verlieren viele Edge-Vision-Systeme an Effizienz. Hailo sagt, er übertreffe konkurrierende Edge-Prozessoren bei Flächen- und Energieeffizienz, und Karten darauf führen ResNet-50 mit hohen Bildraten aus.

Der Hailo-10H ist ein Bauteil der zweiten Generation, das für generative Arbeit statt für reine Vision gebaut ist. Er erreicht 40 TOPS INT4-Leistung bei derselben typischen Aufnahme von rund 2,5 W wie sein Vorgänger, und Hailo vermarktet ihn als einen der ersten eigenständigen Edge-Prozessoren, die große Sprachmodelle und Vision-Language-Modelle lokal ausführen können. Bei einem Modell mit 2B Parametern erzeugt er das erste Token in unter einer Sekunde und hält ein Tempo über 10 Token pro Sekunde. Er führt auch Bilderzeugungsmodelle wie Stable Diffusion aus.

Die Hailo-15-Familie geht anders vor. Sie ist kein Zusatzbeschleuniger. Sie ist ein vollständiger Visionsprozessor, der Hailos KI-Kern mit Bildverarbeitungsmotoren verbindet, eine Kamera kann also Video auf einem einzigen Chip aufnehmen und analysieren. Hailo nennt bis zu 20 TOPS für die Linie. Es gibt zwei Stufen. Der Hailo-15H bedient High-End-Kameras, die mehr Spielraum brauchen, und der Hailo-15L zielt auf Massenmarktkameras, wo Kosten und Leistungsaufnahme die Grenzen setzen.

Hailo verkauft seine Beschleuniger als Module, die in Standardschnittstellen passen. Das nimmt viel Schmerz heraus, wenn Sie KI in ein bestehendes Design einbauen. Der Hailo-8, der Hailo-8L und der Hailo-10H kommen als M.2-Karten, die in PCs und Embedded-Platinen passen, der Hailo-8R nutzt das mini-PCIe-Format, und die Hailo-8-Century-Linie kommt als PCIe-Karten. Die Century-Karten skalieren bis 208 TOPS für dichte Video-Arbeitslasten, das 52-TOPS-Modell startet bei rund $249.

Chips sind ohne Werkzeuge nutzlos, und Hailo legt bei seiner Software echten Wert aufs Detail. Der Dataflow Compiler konvertiert Modelle aus TensorFlow, PyTorch, ONNX und Keras in das native Format des Chips. HailoRT ist die Laufzeit, die die Ausführung auf der Hardware übernimmt. Model Zoo und Vision Model Explorer liefern vortrainierte und voroptimierte Netze als Ausgangspunkt. Die Anwendungssuite enthält funktionierende Beispiele, die Sie anpassen können. Eine Entwicklergemeinschaft von mehr als 10.000 Nutzern baut darauf auf.

Hailos Bauteile sind nicht nur Laborhardware. Der Hailo-8 unterstützt industrielle Temperaturbereiche und Automotive-Grade, und der Hailo-10H ist nach AEC-Q100 Grade 2 zertifiziert, mit geplanter Produktion für Automobilsysteme wie Cockpit-Displays und Fahrerüberwachung. Diese Qualifikation ist es, die einen Zulieferer den Chip in ein Fahrzeug oder eine Fabriklinie einbauen lässt, ohne um Temperatur- und Zuverlässigkeitsgrenzen herum neu zu entwerfen.