Hailo AI

Hailo AI의 핵심 발상은 데이터가 생기는 곳에서 신경망을 돌리는 것이다. 모든 Hailo 프로세서가 기기에서 추론하므로 영상과 센서 데이터가 분석을 위해 하드웨어를 떠날 필요가 없다. 지연이 줄고, 상시 네트워크 연결이 필요 없어지며, 민감한 데이터가 로컬에 남는다. 스스로 생각하는 카메라와 영상만 올리는 카메라의 차이가 여기에 있다.

Hailo-8은 Hailo에서 가장 잘 알려진 칩이다. 컴퓨터 비전 작업에서 최대 26 TOPS를 내고, 일반 소비 전력은 약 2.5와트이며, 외부 DRAM에 기대지 않고 메모리를 칩에 둔다. 이 메모리 설계가 순수 TOPS 수치보다 왜 중요한가. 칩이 자기 연산 유닛을 계속 먹여 바쁘게 있을 수 있기 때문이고, 많은 엣지 비전 시스템이 효율을 잃는 지점이 바로 여기다. Hailo는 면적과 전력 효율에서 경쟁 엣지 프로세서를 앞선다고 말하며, 이를 쓰는 카드는 ResNet-50을 높은 프레임레이트로 돌린다.

Hailo-10H는 순수 비전이 아니라 생성 작업을 위해 만든 2세대 부품이다. 전작과 같은 일반 약 2.5 W 소비 전력으로 40 TOPS의 INT4 성능에 도달하며, Hailo는 대규모 언어 모델과 비전 언어 모델을 로컬에서 돌릴 수 있는 최초의 독립형 엣지 프로세서 중 하나로 내세운다. 2B 매개변수 모델에서 첫 토큰을 1초 안에 내고 초당 10토큰이 넘는 속도를 유지한다. Stable Diffusion 같은 이미지 생성 모델도 돌린다.

Hailo-15 제품군은 다른 접근을 취한다. 추가 가속기가 아니다. Hailo의 AI 코어와 이미지 처리 엔진을 결합한 완전한 비전 프로세서라, 카메라가 단일 칩에서 영상을 촬영하고 분석할 수 있다. Hailo는 이 라인에서 최대 20 TOPS를 제시한다. 등급은 두 가지다. Hailo-15H는 여유가 필요한 하이엔드 카메라를, Hailo-15L은 비용과 전력이 제약인 대중형 카메라를 겨냥한다.

Hailo는 가속기를 표준 인터페이스에 맞는 모듈로 판다. 기존 설계에 AI를 더할 때 드는 수고를 크게 덜어 준다. Hailo-8, Hailo-8L, Hailo-10H는 PC와 임베디드 보드에 꽂는 M.2 카드로 나오고, Hailo-8R은 mini PCIe 폼팩터를 쓰며, Hailo-8 Century 라인은 PCIe 카드로 출하된다. Century 카드는 고밀도 영상 작업을 위해 208 TOPS까지 확장하고, 52 TOPS 모델은 약 $249에서 시작한다.

칩은 도구 없이는 쓸모가 없고, Hailo는 소프트웨어에 진짜 힘을 싣는다. Dataflow Compiler는 TensorFlow, PyTorch, ONNX, Keras의 모델을 칩의 네이티브 형식으로 변환한다. HailoRT는 하드웨어에서 실행을 맡는 런타임이다. Model Zoo와 Vision Model Explorer는 출발점이 될 사전 학습되고 미리 최적화된 네트워크를 준다. 애플리케이션 제품군에는 그대로 변형해 쓸 수 있는 동작 예제가 들어 있다. 1만 명이 넘는 개발자 커뮤니티가 그 위에 쌓아 올린다.

Hailo의 부품은 실험실 하드웨어가 아니다. Hailo-8은 산업용 온도 범위와 차량 등급을 지원하고, Hailo-10H는 AEC-Q100 Grade 2 인증을 받았으며, 콕핏 디스플레이와 운전자 모니터링 같은 차량 시스템용 양산이 계획되어 있다. 이 인증이 있어야 부품사가 온도와 신뢰성 한계 때문에 다시 설계하지 않고 칩을 차량이나 공장 라인에 넣을 수 있다.