Hailo AI

A ideia central da Hailo AI é rodar redes neurais onde os dados são criados. Todo processador Hailo faz a inferência no dispositivo, então vídeo e dados de sensores não precisam sair do hardware para serem analisados. Isso reduz a latência, elimina a necessidade de uma conexão de rede constante e mantém dados sensíveis localmente. É a diferença entre uma câmera que pensa sozinha e uma que só faz upload das imagens.

O Hailo-8 é o chip mais conhecido da Hailo. Ele entrega até 26 TOPS para cargas de visão computacional com consumo típico de cerca de 2.5 watts, e mantém a memória no próprio chip em vez de depender de DRAM externa. Por que esse projeto de memória importa mais do que o número bruto de TOPS? Porque o chip consegue ficar ocupado alimentando suas próprias unidades de computação, que é onde muitos sistemas de visão de borda perdem eficiência. A Hailo afirma que ele supera processadores de borda concorrentes em eficiência de área e energia, e as placas baseadas nele rodam o ResNet-50 em altas taxas de quadros.

O Hailo-10H é uma peça de segunda geração feita para trabalho generativo, mais do que para visão pura. Ele atinge 40 TOPS de desempenho INT4 com o mesmo consumo típico de cerca de 2.5 W do antecessor, e a Hailo o apresenta como um dos primeiros processadores de borda independentes capazes de rodar modelos de linguagem grandes e modelos de visão-linguagem localmente. Em um modelo de 2B parâmetros, ele produz o primeiro token em menos de um segundo e mantém o ritmo acima de 10 tokens por segundo. Ele também roda modelos de geração de imagem como o Stable Diffusion.

A família Hailo-15 adota uma abordagem diferente. Não é um acelerador complementar. É um processador de visão completo que une o núcleo de IA da Hailo a motores de processamento de imagem, então uma câmera consegue capturar e analisar vídeo em um único chip. A Hailo cita até 20 TOPS para a linha. Existem dois níveis. O Hailo-15H atende câmeras de ponta que precisam de mais folga, e o Hailo-15L mira câmeras de grande volume, onde custo e consumo são as restrições.

A Hailo vende seus aceleradores como módulos que encaixam em interfaces padrão. Isso remove boa parte da dor quando você adiciona IA a um projeto existente. O Hailo-8, o Hailo-8L e o Hailo-10H vêm como placas M.2 que entram em PCs e placas embarcadas, o Hailo-8R usa o formato mini PCIe, e a linha Hailo-8 Century sai como placas PCIe. As placas Century escalam até 208 TOPS para cargas densas de vídeo, e o modelo de 52 TOPS começa em torno de $249.

Chips não servem de nada sem ferramentas, e a Hailo investe de verdade no software. O Dataflow Compiler converte modelos do TensorFlow, PyTorch, ONNX e Keras para o formato nativo do chip. O HailoRT é o runtime que cuida da execução no hardware. O Model Zoo e o Vision Model Explorer dão redes pré-treinadas e pré-otimizadas para você começar. O pacote de aplicações inclui exemplos funcionais que você pode adaptar. Uma comunidade de desenvolvedores com mais de 10,000 usuários constrói em cima de tudo isso.

As peças da Hailo não são apenas hardware de laboratório. O Hailo-8 suporta faixas de temperatura industrial e graus automotivos, e o Hailo-10H é certificado para AEC-Q100 Grade 2, com produção prevista para sistemas automotivos como telas de cabine e monitoramento do motorista. Essa qualificação é o que permite a um fornecedor colocar o chip em um veículo ou em uma linha de fábrica sem redesenhar em torno de limites de temperatura e confiabilidade.