OctoAI
OctoAI (formerly OctoML, now part of NVIDIA) · Programación
OctoAI fue una API de inferencia de IA en la nube que servía modelos abiertos como Llama, Mistral y Stable Diffusion mediante una API compatible con OpenAI. NVIDIA la compró en 2024 y cerró el servicio.
Acerca de OctoAI
About
Qué fue OctoAI
OctoAI era una empresa de Seattle que vendía acceso rápido y barato a modelos de inteligencia artificial de código abierto. Bastaba con enviar una petición a su API, elegir un modelo del catálogo y recibir texto o una imagen. El atractivo estaba en la velocidad: afinaba cada modelo para sacar más partido a la misma GPU, de modo que las respuestas llegaban antes y costaban menos que en un despliegue convencional en la nube.
El equipo llegó ahí por la vía de los compiladores, no de los chatbots. OctoAI nació en 2019 como OctoML, una escisión de la Universidad de Washington construida alrededor de Apache TVM, un compilador abierto que reescribe un modelo para que funcione bien en el chip que tengas. Ese trabajo acabó empaquetado como alojamiento de modelos de código abierto para desarrolladores de aplicaciones que querían Llama o Stable Diffusion dentro de un producto sin montar un equipo de infraestructura de aprendizaje automático.
Ese servicio ya no existe. NVIDIA compró OctoAI en septiembre de 2024 y la empresa avisó a sus clientes de que el acceso a todos sus servicios terminaría el 31 de octubre de 2024. Las cuentas se desactivaron y la API se apagó. El equipo pasó al grupo de software de NVIDIA. Quien busque OctoAI hoy se topa con un capítulo cerrado, y la pregunta útil es qué ocupó su lugar.
Cómo empezar
No queda ningún registro que completar, porque la plataforma está retirada. Lo que sigue es cómo se usaba cuando seguía operativa, útil si lees tutoriales antiguos o preparas una migración.
- Crea una cuenta en la plataforma de OctoAI y genera un token de API desde la consola.
- Elige un modelo del catálogo, como Llama, Mistral o Stable Diffusion XL, o sube un modelo tuyo ya ajustado.
- Apunta tu código al endpoint compatible con OpenAI, que permitía reutilizar casi cualquier librería cliente cambiando la URL base.
- Envía una petición y lee la respuesta, ya sea texto generado, una imagen o un JSON.
- Para un despliegue privado, ejecuta OctoStack dentro de tu propia cuenta de nube o en tus servidores, y así el tráfico no pasa por infraestructura compartida.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de OctoAI.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Desarrolladores que construyen sobre modelos abiertos
- Equipos que migran desde OctoAI
- Empresas de sectores regulados
Tareas
- Servir generación de texto a escala de producción
- Generar imágenes con Stable Diffusion XL
- Alojar un modelo ajustado
- Auditar una dependencia antigua
Casos de uso
- Un prototipo que se apoyaba en OctoAI
- Una revisión de proveedores de inferencia
- Leer un tutorial de 2024
Funciones clave
Generación de texto compatible con OpenAI
OctoAI servía Llama 2 en tamaños de 7B, 13B y 70B junto con sus variantes de chat, además de Code Llama y Mistral 7B. La API seguía el formato de petición de OpenAI, así que quien ya usaba ese estándar cambiaba de proveedor con una URL base distinta. Esa compatibilidad reducía la prueba de un nuevo proveedor a unas pocas líneas de configuración.
API de imágenes con Stable Diffusion XL
La parte de imagen ejecutaba Stable Diffusion XL y dejaba añadir adaptadores LoRA propios desde la propia llamada. Un estudio de videojuegos o un equipo de marketing generaba arte con el estilo de la casa sin entrenar un modelo base. Las peticiones devolvían la imagen y no un número de turno que hubiera que consultar después.
Optimización independiente del hardware
La ventaja de la empresa venía de Apache TVM, un compilador que traduce un modelo a código afinado para un chip concreto. OctoAI aplicaba ese ajuste en sus propios servidores, de modo que la ganancia aparecía en el tiempo de respuesta de la API y no en un paquete que tuvieras que instalar. El soporte abarcaba GPUs de NVIDIA, hardware de AMD, CPUs de Intel y chips Inferentia de AWS. Esa portabilidad importó poco cuando el mercado se decantó por NVIDIA.
OctoStack para despliegues privados
OctoStack, presentado en abril de 2024, dejaba a las empresas ejecutar la misma pila de inferencia dentro de su entorno, fuera en AWS, Google Cloud, Azure, CoreWeave, Lambda Labs o un centro de datos propio. El argumento era privacidad y control: equipos de salud, finanzas y administración pública usaban los modelos sin enviar datos a los servidores de OctoAI. La compañía afirmaba una utilización de GPU 4 veces mejor y un 50% menos de coste operativo que un montaje propio.
Trae tu propio modelo
Más allá del catálogo, se podía alojar una variante ajustada de Llama 2 en la plataforma y llamarla como cualquier otro endpoint. Así se evitaba construir una capa de servicio propia para un modelo personalizado, aunque el ajuste había que producirlo y probarlo en otro sitio.
Pago por uso
OctoAI cobraba por consumo y no con una suscripción plana, con un nivel de prueba gratis, tarifas por token para texto, por imagen en SDXL y por hora de cómputo en endpoints personalizados. El ahorro mayor venía de los modelos ajustados, que según la empresa corrían hasta 10 veces más rápido que un despliegue sin tratar.
Ventajas y desventajas
Ventajas
- La API hablaba el formato de OpenAI, así que mover una aplicación existente era cambiar la URL base y la clave
- Los modelos ajustados respondían más rápido y costaban menos por token que un despliegue directo sobre GPU en la nube
- Los adaptadores LoRA propios daban a la generación de imágenes un estilo de marca consistente sin entrenar un modelo
- OctoStack ofrecía a los sectores regulados una forma de mantener los datos dentro de su propia cuenta de nube
- Un nivel de prueba gratuito permitía medir latencia y calidad antes de reservar presupuesto
Desventajas
- Toda la plataforma se apagó el 31 de octubre de 2024, unas cinco semanas después del anuncio de la compra por NVIDIA
- Ningún producto de NVIDIA asumió esa misma carga, así que los clientes tuvieron que rehacer la aplicación sobre un servicio de inferencia rival
- La cobertura de modelos iba por detrás de los competidores más rápidos, y los lanzamientos abiertos nuevos quedaban semanas o meses en manos de otros
- El discurso de independencia del hardware perdió valor a medida que el mercado se concentró en GPUs de NVIDIA, lo que recortó el motivo para elegir OctoAI
- El precio de los endpoints personalizados era más difícil de prever que una tarifa plana por token, lo que complicaba el presupuesto con tráfico irregular
Preguntas frecuentes
NVIDIA compró OctoAI en septiembre de 2024 y la empresa cerró todos sus servicios comerciales el 31 de octubre de 2024. El equipo, dirigido por el consejero delegado Luis Ceze, se incorporó a NVIDIA, y la API y la plataforma ya no aceptan tráfico.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con OctoAI.
Alternativas a OctoAI
Base Code
Base44 (Wix) · Programación · ProductividadBase Code es un entorno de desarrollo en la nube compartido de Base44. El equipo describe cambios sobre un repositorio de GitHub en el chat, los ve en una vista previa y los envía como pull requests.
Google EmbeddingGemma 2
Google DeepMind · Escritura · Imagen · ProgramaciónGoogle EmbeddingGemma 2 es un modelo abierto de 740 millones de parámetros que convierte texto, código, imágenes, audio y fotogramas de vídeo en vectores de un mismo espacio de 768 dimensiones, y funciona en móviles y portátiles.
GitGlow
GitGlow · Programación · ProductividadGitGlow es un cliente Git de escritorio que reúne tu código y los cambios de tus agentes de IA en una sola revisión, para que sepas qué va a salir de tu máquina antes de publicarlo.