Hailo AI

L'idée centrale de Hailo AI est d'exécuter des réseaux de neurones là où les données sont créées. Chaque processeur Hailo fait l'inférence sur l'appareil, la vidéo et les données de capteurs n'ont donc pas à quitter le matériel pour être analysées. Cela réduit la latence, supprime le besoin d'une connexion réseau constante et garde les données sensibles en local. C'est la différence entre une caméra qui réfléchit seule et une autre qui se contente de téléverser des images.

Le Hailo-8 est la puce la plus connue de Hailo. Elle délivre jusqu'à 26 TOPS pour les charges de vision par ordinateur avec une consommation typique d'environ 2,5 watts, et elle garde sa mémoire sur la puce au lieu de dépendre d'une DRAM externe. Pourquoi cette conception mémoire compte-t-elle plus que le chiffre brut de TOPS ? Parce que la puce peut rester occupée à alimenter ses propres unités de calcul, et c'est là que beaucoup de systèmes de vision en périphérie perdent en efficacité. Hailo affirme qu'elle surpasse les processeurs concurrents en efficacité de surface et d'énergie, et les cartes qui l'embarquent exécutent ResNet-50 à des fréquences d'images élevées.

Le Hailo-10H est une pièce de deuxième génération conçue pour le travail génératif plutôt que pour la vision pure. Il atteint 40 TOPS de performance INT4 avec la même consommation typique d'environ 2,5 W que son prédécesseur, et Hailo le présente comme l'un des premiers processeurs de périphérie autonomes capables d'exécuter des grands modèles de langage et des modèles vision-langage en local. Sur un modèle de 2B paramètres, il produit le premier token en moins d'une seconde et tient un rythme supérieur à 10 tokens par seconde. Il exécute aussi des modèles de génération d'images comme Stable Diffusion.

La famille Hailo-15 adopte une autre approche. Ce n'est pas un accélérateur additionnel. C'est un processeur de vision complet qui associe le cœur d'IA de Hailo à des moteurs de traitement d'image, une caméra peut donc capturer et analyser la vidéo sur une seule puce. Hailo annonce jusqu'à 20 TOPS pour la gamme. Il y a deux niveaux. Le Hailo-15H sert les caméras haut de gamme qui ont besoin de plus de marge, et le Hailo-15L vise les caméras grand public, où le coût et la consommation sont les contraintes.

Hailo vend ses accélérateurs sous forme de modules qui s'adaptent aux interfaces standard. Cela supprime une bonne part des difficultés quand vous ajoutez de l'IA à une conception existante. Le Hailo-8, le Hailo-8L et le Hailo-10H se présentent en cartes M.2 qui s'insèrent dans les PC et les cartes embarquées, le Hailo-8R utilise le format mini PCIe, et la gamme Hailo-8 Century est livrée en cartes PCIe. Les cartes Century montent jusqu'à 208 TOPS pour les charges vidéo denses, le modèle de 52 TOPS démarre autour de $249.

Les puces ne servent à rien sans outils, et Hailo met vraiment le paquet sur son logiciel. Le Dataflow Compiler convertit les modèles de TensorFlow, PyTorch, ONNX et Keras vers le format natif de la puce. HailoRT est le runtime qui gère l'exécution sur le matériel. Le Model Zoo et le Vision Model Explorer fournissent des réseaux pré-entraînés et pré-optimisés comme point de départ. La suite d'applications livre des exemples fonctionnels que vous pouvez adapter. Une communauté de développeurs de plus de 10 000 utilisateurs construit par-dessus tout cela.

Les pièces de Hailo ne sont pas que du matériel de laboratoire. Le Hailo-8 prend en charge des plages de température industrielles et des grades automobiles, et le Hailo-10H est certifié AEC-Q100 Grade 2, avec une production prévue pour des systèmes automobiles comme les écrans d'habitacle et la surveillance du conducteur. Cette qualification est ce qui permet à un fournisseur d'intégrer la puce dans un véhicule ou une ligne d'usine sans reconcevoir autour des limites de température et de fiabilité.