TwelveLabs
TwelveLabs, Inc. · Programación
TwelveLabs es una plataforma de comprensión de vídeo cuyos modelos Marengo y Pegasus indexan, buscan y analizan metraje a gran escala mediante una API.
Acerca de TwelveLabs
About
Qué es TwelveLabs
TwelveLabs es una empresa de inteligencia de vídeo. Su plataforma entiende lo que ocurre dentro de un clip: palabras, sonidos, objetos, acciones y el orden en que suceden. Subes el metraje y el sistema lo convierte en datos consultables que puedes buscar con lenguaje natural.
La compañía desarrolla dos modelos fundacionales. Marengo se encarga de la recuperación: convierte el vídeo en embeddings, así encuentras una escena describiéndola en lugar de etiquetarla a mano. Pegasus es un modelo de lenguaje de vídeo que redacta resúmenes, subtítulos y respuestas sobre un clip. Ambos funcionan con una sola API y un conjunto de herramientas para desarrolladores.
El límite está en el alcance. TwelveLabs está pensada para equipos con volumen real de vídeo y apoyo de ingeniería, no para editores ocasionales que solo quieren recortar. El plan gratuito limita la indexación y borra los datos del índice a los 90 días, así que el uso continuado exige pasar al plan Developer de pago o a un contrato enterprise.
Cómo empezar
- Crea una cuenta en la página de acceso de TwelveLabs y empieza con el plan gratuito, que incluye hasta 10 horas de indexación.
- Genera una clave de API desde el panel y crea un índice fechado, donde se guardan tus vídeos y sus embeddings.
- Sube el metraje por la API, los SDK o una conexión MCP, o arrastra los archivos al Playground web.
- Lanza una llamada de búsqueda, embed o analyze sobre tu índice para extraer escenas, temas o resúmenes escritos.
- Revisa el resultado en el panel e integra la API en tu app cuando el resultado te sirva.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de TwelveLabs.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Equipos de medios y postproducción
- Analistas que quieren un análisis de vídeo más rico
- Desarrolladores que crean apps de vídeo
- Encontrar un momento concreto entre horas de metraje
Tareas
- Generar resúmenes y subtítulos
- Revisión de cumplimiento y seguridad
- Integrar una API de IA para vídeo en un producto
- Limpiar un archivo de cine o televisión antes de un nuevo rodaje
Casos de uso
- Colocar publicidad contextual
- Revisar metraje de casos o incidentes
- Montar inteligencia de vídeo con IA para un archivo de medios
- Standing up AI video intelligence for a media archive
Funciones clave
Búsqueda de vídeo multimodal
La búsqueda cubre a la vez palabras habladas, sonidos y elementos visuales, de modo que localizas una escena describiendo una acción, una línea o un tono. No hacen falta etiquetas de antemano. El modelo Marengo devuelve coincidencias ordenadas con una señal de incertidumbre en cada una, lo que ayuda a medir cuánto puedes fiarte del resultado.
Modelo de embeddings Marengo
Marengo lleva vídeo, audio, imágenes, texto y documentos a un mismo espacio de embeddings. Así puedes hacer recuperación cualquiera-a-cualquiera, como emparejar una consulta de texto con un clip o una imagen con un documento. La versión 3.5 genera embeddings de 512 dimensiones y un endpoint síncrono que admite hasta 16K tokens en una sola consulta.
Modelo de lenguaje de vídeo Pegasus
Pegasus razona sobre toda la línea temporal de un clip en vez de muestrear unos pocos fotogramas. Sigue entidades, causa y efecto y narrativa a lo largo del tiempo, y luego escribe resúmenes, subtítulos, marcadores de capítulo o respuestas a preguntas directas. La compañía asegura que supera a Gemini 3.1 Pro en prompting multimodal en un 13,1% según sus propias pruebas.
Canalización de indexación de alta velocidad
La plataforma ingiere vídeo a unas 60 veces la velocidad en tiempo real, así que una hora de metraje se indexa en torno a un minuto, y en los planes de pago aguanta más de 10.000 horas al día. Indexar más rápido significa que el material nuevo se vuelve consultable antes, algo clave para redacciones y producción en directo.
API, SDK y MCP para desarrolladores
TwelveLabs ofrece una API REST, SDK para Python y Node y una conexión MCP para asistentes de IA. Los equipos pueden llamar a los endpoints de search, embed y analyze directamente, o conectar la plataforma a sus herramientas de edición y gestión de activos en lugar de construir la recuperación desde cero.
Despliegue empresarial y seguridad
La plataforma cuenta con certificación SOC 2 Type II y cifra los datos durante el tratamiento. También admite despliegue privado o autogestionado para organizaciones que no pueden enviar su metraje a una nube compartida, algo que suele decidir la compra en el sector público y en sectores regulados.
Ventajas y desventajas
Ventajas
- La búsqueda lee acción, diálogo y sonido a la vez, así te salta el paso de etiquetar a mano.
- La indexación corre a cerca de 60x en tiempo real, lo que hace consultables las bibliotecas grandes en horas, no semanas.
- Marengo y Pegasus cubren recuperación y generación en una sola plataforma, así evitas unir dos proveedores.
- Una API abierta, SDK y soporte MCP encajan las apps de vídeo en los flujos de trabajo que ya usan los desarrolladores.
- El SOC 2 Type II y el despliegue autogestionado pasan las revisiones de seguridad habituales.
Desventajas
- El plan gratuito te limita a 10 horas de indexación y borra los datos del índice a los 90 días, así que todo lo duradero exige un plan de pago.
- El precio crece con las horas de vídeo y las llamadas a la API, y un uso intenso de Segment multiplica el coste por cada definición de segmento, algo que sorprende a quien no usa la calculadora.
- No hay app móvil para consumidores, así que quien busque un editor simple verá que el producto apunta a otro público.
Preguntas frecuentes
Convierte el vídeo en datos consultables. Subes el metraje y la plataforma indexa lo visual, el habla y el sonido para que puedas buscar, resumir y analizar a través de una API o del panel.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con TwelveLabs.
Alternativas a TwelveLabs
Forefront
Forefront · ProgramaciónForefront es una plataforma web para construir con IA de código abierto. Te deja ajustar los principales modelos de lenguaje de código abierto con tus propios datos, evaluar cómo rinden y ejecutarlos a través de una API o exportarlos para alojarlos tú mismo. Los desarrolladores que quieren la comodidad de una plataforma cerrada pero insisten en ser dueños de sus modelos y sus datos son el público objetivo.
Startkit
StartKit.AI · ProgramaciónStartkit es un boilerplate para crear productos de SaaS con IA y wrappers de IA. Piénsalo como un boilerplate para startups de IA con las partes aburridas ya conectadas: autenticación, pagos con Stripe y Lemon Squeezy, límites de uso, correo transaccional y un kit de inicio de API de IA que habla con OpenAI, Anthropic, Groq o Llama. Clonas el repositorio, pones tu precio y te dedicas a la parte del producto por la que la gente paga de verdad. Está hecho con Next.js sobre React y Tailwind, así que buena parte del código boilerplate ya te resulta familiar.
Testim
Tricentis · ProgramaciónTestim es una plataforma de automatización de pruebas impulsada por IA para crear y ejecutar pruebas de extremo a extremo en aplicaciones web, móviles y Salesforce. Se apoya en el aprendizaje automático para mantener las pruebas estables cuando cambia una interfaz, así que los equipos dedican menos tiempo a reparar selectores rotos. No está nada mal para una herramienta de pruebas automatizadas que puedes empezar a usar hoy mismo. Creas pruebas grabando acciones en un navegador y luego añades JavaScript cuando necesitas más control. Es una opción sólida para equipos de QA con mucho trabajo.