Heron

Heron lit le trafic depuis le fil, à la frontière TLS de l'hôte, ou via une sonde eBPF expérimentale qui intercepte le clair à la limite de lecture/écriture SSL. Pas de SDK, pas de proxy, pas de modification du code et aucune coopération de la charge de travail observée. Pour les équipes qui ont des binaires fermés ou des contrôles de changement stricts, cela supprime la principale raison pour laquelle la surveillance des agents est reportée.

Les appels HTTP bruts sont difficiles à interpréter. Heron assemble les interactions à plusieurs appels en tours uniques et adressables, si bien qu'une étape du planificateur, son appel d'outil, le résultat de l'outil et l'appel suivant se lisent comme un seul récit. Vous obtenez l'histoire de l'agent, pas un journal de requêtes déconnectées. C'est là toute la différence. C'est la fonctionnalité qui le distingue des moniteurs d'API génériques.

Une seule commande vous donne en direct le temps jusqu'au premier token, la latence, le débit, le taux d'erreur et une répartition par agent, le tout reconstitué à partir du trafic et affiché dans une console web locale. Des profils nommés sont fournis pour Claude Code et OpenAI Codex CLI, avec un profil générique pour tout le reste. Si vous avez toujours voulu des chiffres à l'échelle du parc sans pipeline de métriques, c'est le raccourci. Aucun pipeline nécessaire.

Heron détermine ce que sert chaque point de terminaison, comme vLLM, SGLang, Ollama, llama.cpp ou LiteLLM, en inspectant les octets sur le fil plutôt qu'en lisant un fichier de configuration. Il représente ensuite votre parc d'inférence sous forme de graphe orienté, l'épaisseur des arêtes variant selon le nombre de tours. Un routage mal configuré saute aux yeux vite quand vous pouvez le voir en image.

N'importe quel tour ou session s'exporte en JSONL de messages au format OpenAI, avec les appels d'outils, les résultats et le raisonnement conservés et les arguments réhydratés en objets. Exportez un seul tour depuis sa vue détaillée ou faites un export par lots depuis la liste des tours avec le filtre en cours. Cela transforme le trafic de production réel en données d'entraînement que vous auriez sinon dû étiqueter à la main.

Aucune capture en direct nécessaire. Donnez à Heron un .pcap contenant du trafic LLM et il rejoue le tout sans privilèges particuliers, en gardant la console ouverte ensuite pour que vous puissiez parcourir. Le dépôt fournit des fixtures que vous pouvez essayer avant de toucher au moindre système réel. L'évaluation devient bon marché. Et sûre.