OpenLIT
OpenLIT · Programmation
OpenLIT est une plateforme open source basée sur OpenTelemetry pour l'observabilité, les évaluations et les guardrails des LLM, qui vous laisse tracer, noter et corriger vos agents IA.
À propos de OpenLIT
About
Qu'est-ce qu'OpenLIT
OpenLIT installe la couche d'observabilité des applications IA. Vous pointez votre app dessus, et chaque appel au modèle, chaque tool call, chaque récupération et chaque étape de l'agent devient une trace lisible. La plateforme couvre le traçage, les évaluations, les guardrails, la gestion des prompts et le suivi des coûts au même endroit.
L'atout, c'est la portabilité. OpenLIT écrit des données OpenTelemetry standard, donc vous gardez les traces dans le tableau de bord intégré ou vous les envoyez vers Grafana, Datadog ou n'importe quel backend OTLP. Rien n'enferme votre télémétrie dans un format propriétaire, et vous pouvez héberger toute la stack vous-même sous Apache 2.0.
La limite, c'est qu'OpenLIT reste un outil de développeur. En tirer de la valeur suppose de brancher un SDK ou un collector, et pour des volumes de production il vous faudra faire tourner votre propre stockage. Si vous cherchez une app finie sans configuration, ce n'est pas ça.
Pour commencer
- Clonez le dépôt OpenLIT et lancez
docker compose up -d, ou branchez votre app sur un endpoint OTLP que vous avez déjà. - Installez le SDK avec
pip install openlitpour Python ounpm install openlitpour TypeScript. - Ajoutez
openlit.init()en haut de votre code pour que les fournisseurs, frameworks et bases vectorielles compatibles s'instrumentent tout seuls. - Ouvrez le tableau de bord et lisez vos premières traces, puis mettez en place évaluations, prompts ou guardrails à mesure que l'app grandit.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de OpenLIT.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Développeurs qui construisent des apps LLM
- Équipes plateforme et SRE
- Équipes qui quittent un outil d'observabilité fermé
Tâches
- Déboguer une exécution d'agent qui échoue
- Réduire la dépense modèle
- Comparer des prompts avant publication
- Bloquer l'injection de prompt à l'exécution
Cas d'usage
- Mettre un chatbot RAG en production
- Faire tourner des agents de code en CI
- Surveiller le coût GPU pendant l'entraînement ou l'inférence
Fonctionnalités clés
Traçage natif OpenTelemetry
OpenLIT enregistre chaque appel au LLM, chaque tool call, chaque requête MCP, chaque récupération et chaque étape de l'agent comme une trace OpenTelemetry standard. Vous filtrez par utilisateur, session, coût ou latence, et vous envoyez ces mêmes données vers Grafana, Datadog ou n'importe quel endpoint OTLP plutôt que de les laisser dans OpenLIT seul. Cette portabilité est la raison principale pour laquelle les équipes le préfèrent à un outil fermé.
Instrumentation automatique et options sans code
Ajouter openlit.init() suffit à instrumenter les fournisseurs, frameworks et bases vectorielles compatibles, et la liste dépasse 50 intégrations, dont OpenAI, LangChain, CrewAI et ChromaDB. Pour les agents de code comme Claude Code, Codex et Cursor, une CLI installe l'instrumentation sans toucher à votre code source.
Évaluations LLM avec LLM-as-a-judge
OpenLIT note les sorties sur l'hallucination, le biais, la toxicité, la pertinence, la complétude et le respect des instructions. Vous lancez ces contrôles sur du trafic en direct ou sur une expérience, et vous conditionnez un pipeline CI aux résultats, si bien qu'une baisse de qualité bloque une release au lieu d'atteindre l'utilisateur d'abord.
Prompt Hub avec versionnage
Prompt Hub stocke les prompts au même endroit, les versionne avec des étiquettes Major, Minor et Patch et remplace les valeurs {{variable}} à l'exécution. Vous déployez ou annulez un prompt sans livrer de nouveau code, ce qui sort les changements de texte du cycle de release.
Guardrails à l'exécution
Les guardrails inspectent les requêtes à leur arrivée et agissent sur l'injection de prompt, les sujets sensibles et les restrictions de thème. Vous fixez les règles et OpenLIT les applique sur le chemin de la requête, ce qui donne une couche de sécurité indépendante du bon comportement du modèle.
Coûts, latence et surveillance GPU
La plateforme gère le suivi des coûts et la latence entre modèles, fournisseurs, utilisateurs, sessions et agents, et prend en charge des tarifs personnalisés pour les modèles affinés. Un collector GPU distinct remonte utilisation, mémoire, température et consommation du matériel NVIDIA, AMD et Intel, donc coûts et pression matérielle vivent dans le même tableau de bord.
Avantages et inconvénients
Avantages
- Natif OpenTelemetry, donc les traces restent portables et vous évitez un format propriétaire
- Gratuit à héberger soi-même sous Apache 2.0, sans clé de licence et avec la pleine propriété des données
- Configuration en une ligne pour les fournisseurs compatibles, plus des options sans code pour les agents de code
- Réunit observabilité, évaluations, guardrails, prompts et surveillance GPU sur une seule plateforme
- Le stockage adossé à ClickHouse encaisse de la télémétrie LLM et agents à fort volume
Inconvénients
- C'est pensé pour les développeurs : un profil non technique trouvera la configuration et les concepts hors de portée
- Héberger soi-même pour du vrai trafic de production implique de faire tourner votre ClickHouse et de le maintenir en forme
- L'ensemble des fonctions est large, donc la doc de démarrage demande du temps avant d'être productif
- Contrairement à un SaaS managé, mises à jour, montée en charge et sauvegardes sont à votre charge
Questions fréquentes
OpenLIT est une plateforme open source qui trace, évalue et protège les agents IA et les apps LLM. Elle capture les appels au modèle, les tool calls et les récupérations sous forme de traces OpenTelemetry, puis ajoute par-dessus évaluations, guardrails et gestion des prompts.
Contenus associés
Découvrez des outils, des compétences et des articles liés à OpenLIT.
Alternatives à OpenLIT
Forefront
Forefront · ProgrammationForefront est une plateforme web pour construire avec de l'IA open source. Elle vous laisse affiner les principaux modèles de langage open source sur vos propres données, évaluer leurs performances et les exécuter via une API ou les exporter pour les héberger vous-même. Les développeurs qui veulent le confort d'une plateforme fermée mais tiennent à rester propriétaires de leurs modèles et de leurs données sont le public visé ici.
Startkit
StartKit.AI · ProgrammationStartkit est un boilerplate pour créer des produits SaaS d'IA et des wrappers d'IA. Voyez-le comme un boilerplate de startup IA avec les parties ennuyeuses déjà branchées : authentification, paiements Stripe et Lemon Squeezy, limites d'usage, e-mail transactionnel et un kit de démarrage d'API IA qui parle à OpenAI, Anthropic, Groq ou Llama. Vous clonez le dépôt, fixez votre prix et attaquez la partie du produit pour laquelle les gens paient vraiment. Il repose sur Next.js au-dessus de React et Tailwind, donc une bonne partie du code boilerplate vous semble déjà familière.
Testim
Tricentis · ProgrammationTestim est une plateforme d'automatisation des tests dopée à l'IA, qui sert à créer et exécuter des tests de bout en bout sur des applications web, mobiles et Salesforce. Elle s'appuie sur l'apprentissage automatique pour garder les tests stables quand une interface change, alors les équipes passent moins de temps à réparer des sélecteurs cassés. Pas mal pour un outil de tests automatisés que vous pouvez utiliser dès aujourd'hui. Vous créez des tests en enregistrant des actions dans un navigateur, puis vous ajoutez du JavaScript quand vous avez besoin de plus de contrôle. C'est un choix solide pour une équipe QA bien occupée.