Inferless

Le plus dur en inférence serverless, c'est l'attente quand un modèle endormi se réveille pour répondre, le fameux cold start. Inferless s'y attaque avec un moteur d'orchestration maison, un routeur avancé et sa propre couche de stockage qui travaillent ensemble. L'entreprise annonce des réponses sous la seconde même pour de gros modèles, ce qui rend le passage à zéro viable pour les applications grand public. Si une fonction de chat ou de recherche doit attendre dix secondes le chargement d'un modèle, le serverless perd son intérêt.

Inferless monte et descend votre endpoint selon le trafic, d'aucun GPU actif à des centaines à la fois. Le répartiteur de charge interne distribue les requêtes et ajoute ou retire de la capacité avec peu de surcoût, ce qui convient aux charges qui explosent sans prévenir. Vous ne planifiez pas la capacité de pointe à l'avance et vous ne la payez pas quand le trafic est calme.

Vous pouvez récupérer des modèles depuis Hugging Face, GitHub, AWS S3, Google Cloud Storage, Docker ou la CLI Inferless, et la plateforme fait le reste. L'import en un clic depuis les dépôts que les équipes ML utilisent déjà réduit la préparation, donc mettre un modèle en production ne commence pas par un transfert de fichiers. Le support d'Azure est annoncé comme à venir.

La plateforme exécute des modèles PyTorch, TensorFlow et ONNX, et accepte aussi des fonctions Python personnalisées. Cette souplesse signifie que vous n'êtes enfermé ni dans un framework ni dans un format de modèle. Vous configurez environnements et paquets sur mesure via YAML, donc installer des bibliothèques supplémentaires n'oblige pas à écrire un serveur de zéro.

Au lieu de louer un GPU entier pour un petit modèle, Inferless laisse plusieurs modèles et traitements partager le même GPU, avec rééquilibrage automatique et vidage des nœuds. Vous pouvez aussi utiliser des GPU fractionnés, donc un modèle qui a besoin d'une part d'A100 ne vous force pas à payer la carte entière. Pour les équipes qui font tourner beaucoup de petits modèles, ce partage fait souvent la différence entre viable et trop cher.

Inferless fournit des métriques Prometheus et des tableaux de bord Grafana pour suivre l'usage GPU et d'autres signaux de santé du système. Les nouvelles versions du modèle se déploient via des pipelines CI/CD, donc vous publiez une mise à jour sans reconstruire ni redéployer l'infrastructure à la main. Du même flux sortent des endpoints prêts à l'emploi, que vous pouvez brancher sur un backend ou un front end.