TwelveLabs
TwelveLabs, Inc. · Programmation
TwelveLabs est une plateforme de compréhension vidéo dont les modèles Marengo et Pegasus indexent, recherchent et analysent des heures de rushes via une API.
À propos de TwelveLabs
About
Qu'est-ce que TwelveLabs
TwelveLabs est une société d'intelligence vidéo. Sa plateforme comprend ce qui se passe dans un clip : paroles, sons, objets, actions et leur ordre d'apparition. Vous envoyez vos rushes, et le système les transforme en données interrogeables en langage naturel.
L'entreprise développe deux modèles de fondation. Marengo s'occupe de la recherche : il convertit la vidéo en embeddings, si bien que vous retrouvez une scène en la décrivant, sans étiquetage manuel. Pegasus est un modèle de langage vidéo qui rédige des résumés, des sous-titres et des réponses sur un clip. Les deux tournent via une seule API et une série d'outils pour développeurs.
La limite tient au périmètre. TwelveLabs vise les équipes qui traitent un vrai volume de vidéo avec un support technique, pas les monteurs occasionnels qui cherchent juste un outil de découpe. L'offre gratuite plafonne l'indexation et efface les données d'index au bout de 90 jours, donc un usage durable suppose de passer à l'offre Developer payante ou à un contrat enterprise.
Pour commencer
- Créez un compte sur la page de connexion TwelveLabs et démarrez sur l'offre gratuite, avec jusqu'à 10 heures d'indexation.
- Générez une clé API depuis le tableau de bord et créez un index daté, qui stocke vos vidéos et leurs embeddings.
- Envoyez les rushes via l'API, les SDK ou une connexion MCP, ou déposez les fichiers dans le Playground web.
- Lancez un appel search, embed ou analyze sur votre index pour en tirer des scènes, des thèmes ou des résumés écrits.
- Consultez le résultat dans le tableau de bord et branchez l'API sur votre propre application quand le rendu vous convient.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de TwelveLabs.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Équipes médias et post-production
- Analystes qui veulent une analyse vidéo plus fine
- Développeurs qui bâtissent des applications vidéo
- Retrouver un moment précis dans des heures de rushes
Tâches
- Produire résumés et sous-titres
- Revue de conformité et de sécurité
- Intégrer une API d'IA vidéo dans un produit
- Nettoyer une archive de cinéma ou de télévision avant un tournage
Cas d'usage
- Diffuser de la publicité contextuelle
- Analyser des images de dossier ou d'incident
- Installer une intelligence vidéo par IA pour une archive média
- Standing up AI video intelligence for a media archive
Fonctionnalités clés
Recherche vidéo multimodale
La recherche couvre en même temps paroles, sons et images, ce qui permet de retrouver une scène en décrivant une action, une réplique ou une ambiance. Aucune étiquette n'est requise au préalable. Le modèle Marengo renvoie des résultats classés avec un signal d'incertitude sur chacun, de quoi juger la confiance à accorder à la réponse.
Modèle d'embeddings Marengo
Marengo place vidéo, audio, images, texte et documents dans un même espace d'embeddings. Vous lancez ainsi une recherche de n'importe quel type vers n'importe quel autre, par exemple une requête texte vers un clip, ou une image vers un document. La version 3.5 produit des embeddings de 512 dimensions et un endpoint synchrone qui accepte jusqu'à 16K tokens en une seule requête.
Modèle de langage vidéo Pegasus
Pegasus raisonne sur toute la chronologie d'un clip au lieu d'échantillonner quelques images. Il suit les entités, la causalité et la narration dans le temps, puis rédige résumés, sous-titres, marqueurs de chapitre ou réponses à des questions directes. La société affirme qu'il dépasse Gemini 3.1 Pro de 13,1 % sur le prompting multimodal dans ses propres tests.
Pipeline d'indexation à grande vitesse
La plateforme ingère la vidéo à environ 60 fois la vitesse réelle : une heure de rushes s'indexe en une minute environ, et les offres payantes absorbent plus de 10 000 heures par jour. Indexer plus vite rend les rushes récents interrogeables plus tôt, un point décisif pour les rédactions et la production en direct.
API, SDK et MCP pour développeurs
TwelveLabs fournit une API REST, des SDK Python et Node et une connexion MCP pour les assistants IA. Les équipes appellent directement les endpoints search, embed et analyze, ou branchent la plateforme sur leurs outils de montage et de gestion d'actifs plutôt que de construire la recherche de zéro.
Déploiement entreprise et sécurité
La plateforme détient la certification SOC 2 Type II et chiffre les données pendant leur traitement. Elle prend aussi en charge un déploiement privé ou autogéré pour les organisations qui ne peuvent pas confier leurs rushes à un cloud partagé, un critère souvent décisif dans le secteur public et les domaines réglementés.
Avantages et inconvénients
Avantages
- La recherche lit ensemble action, dialogue et son, ce qui supprime l'étape d'étiquetage manuel.
- L'indexation tourne près de 60x la vitesse réelle, donc les grandes vidéothèques deviennent interrogeables en heures, pas en semaines.
- Marengo et Pegasus couvrent recherche et génération sur une seule plateforme, ce qui évite de marier deux fournisseurs.
- Une API ouverte, des SDK et la prise en charge de MCP intègrent les applications vidéo dans les flux de travail des développeurs.
- SOC 2 Type II et le déploiement autogéré passent les revues de sécurité courantes.
Inconvénients
- L'offre gratuite plafonne à 10 heures d'indexation et efface les données d'index au bout de 90 jours, donc tout usage durable demande une offre payante.
- Le prix grimpe avec les heures de vidéo et les appels API, et un usage intensif de Segment multiplie le coût par chaque définition de segment, de quoi surprendre qui néglige le calculateur.
- Pas d'application mobile grand public, donc qui cherche un monteur simple verra que le produit vise un autre public.
Questions fréquentes
Elle transforme la vidéo en données interrogeables. Vous envoyez vos rushes et la plateforme indexe l'image, la parole et le son pour que vous puissiez chercher, résumer et analyser via une API ou le tableau de bord.
Contenus associés
Découvrez des outils, des compétences et des articles liés à TwelveLabs.
Alternatives à TwelveLabs
Base Code
Base44 (Wix) · Programmation · ProductivitéBase Code est un environnement de développement cloud partagé signé Base44. Votre équipe décrit des modifications sur un dépôt GitHub dans le chat, les vérifie en aperçu et les renvoie sous forme de pull requests.
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
GitGlow
GitGlow · Programmation · ProductivitéGitGlow est un client Git de bureau qui place votre code et les modifications de vos agents IA dans une même revue, pour savoir ce qui quitte votre machine avant de livrer.