Inferable

Les workflows s'exécutent sur vos machines, y compris derrière un pare-feu ou dans un VPC privé, sans aucune étape de déploiement à gérer. Le worker joint le plan de contrôle par long polling, donc vous n'ouvrez jamais de port entrant et ne configurez aucun répartiteur de charge. Pour les équipes qui ne peuvent pas sortir la charge de leur réseau, ce choix fait la différence face à une alternative hébergée.

Quand le schéma d'entrée ou la logique change, vous définissez une nouvelle version du workflow au lieu de modifier l'ancienne. Inferable conserve l'affinité de version pour les exécutions déjà en cours, donc vous déployez un changement progressivement et les tâches en cours se terminent avec le code avec lequel elles ont démarré. Cela retire la crainte habituelle qu'une petite modification casse quelque chose qu'un client attend.

Un workflow peut se mettre en pause et demander à une personne de valider ou refuser l'étape suivante, par Slack ou e-mail, avec tout le contexte emporté. L'exécution reste en attente jusqu'au retour de la réponse, une minute ou une semaine, puis reprend là où elle s'était arrêtée. Vous gardez ainsi la main sur les étapes qui portent un risque, comme une suppression de données ou un paiement, sans coder vous-même la logique d'attente.

Le runtime analyse et vérifie chaque réponse structurée du modèle contre un schéma, et relance l'exécution quand la sortie ne correspond pas. Au lieu de parser du texte libre en espérant que ça tienne, vous obtenez des champs typés que vous passez directement à l'étape suivante. Le tri de tickets, l'extraction de menus et le remplissage de formulaires reposent sur ce fonctionnement fiable.

Les étapes coûteuses ou à effet de bord peuvent être mémorisées et mises en cache dans un stockage distribué, pour qu'un redémarrage ou une relance ne les refasse pas. Une tâche à plusieurs étapes qui échoue à la neuvième reprend à la neuvième, les huit premières intactes. Cela transforme les processus IA de longue durée en quelque chose que vous pouvez financer en production.

Au-delà des workflows isolés, Inferable prend en charge des agents qui utilisent des outils pour atteindre un objectif. Chaque exécution s'affiche dans une vue chronologique qui trace chaque étape, et vous pouvez brancher les mêmes événements à votre propre outil d'observabilité. Quand un agent part de travers, c'est dans la chronologie que vous voyez quel appel l'a causé.

Le plan de contrôle, le playground, la CLI et les SDK sont tous en open source sous licence MIT. Vous pouvez héberger toute la pile sur votre propre infrastructure pour un contrôle total sur les données et les modèles, sans dépendance à un fournisseur. L'auto-hébergement est la voie pour les équipes dont la revue de sécurité écarte un service managé.