TrueFoundry AI Gateway
TrueFoundry · Programación
TrueFoundry AI Gateway es un plano de control empresarial que se sitúa entre tus aplicaciones y tus proveedores de modelos. Da a los equipos una sola API para enrutar, gobernar y monitorizar el tráfico de LLM y de IA generativa. La herramienta reúne enrutamiento de modelos, barreras de seguridad, límites de velocidad, presupuestos de tokens y observabilidad de LLM en una sola capa, así que los ingenieros pueden cambiar de proveedor o añadir uno nuevo sin reescribir el código de la aplicación. Está pensada para organizaciones que ejecutan IA en producción, no para creadores individuales que prueban un solo modelo.
Acerca de TrueFoundry AI Gateway
Qué es TrueFoundry AI Gateway
TrueFoundry AI Gateway es un middleware para equipos que han superado las API de modelos en bruto. En lugar de codificar llamadas fijas a OpenAI, Anthropic o un modelo LLaMA autoalojado, apuntas tu aplicación a un único punto de acceso de la puerta de enlace. La puerta autentica la solicitud, decide qué modelo debe responder y aplica tus reglas de gobernanza por el camino. TrueFoundry lo describe como un plano de control centralizado para la ruta de inferencia en producción, y ese enfoque importa: el producto vive donde fluyen realmente las solicitudes, no al margen como una herramienta de informes.
El problema principal que resuelve es la dispersión. Cuando una organización tiene varios equipos llamando a varios proveedores, nadie puede decir con seguridad quién gasta qué, qué modelo hay detrás de una función concreta o qué ocurre cuando un proveedor se cae. La puerta de enlace lleva ese desorden a un solo lugar. Las reglas de enrutamiento, los respaldos y las políticas de gobernanza de IA se configuran de forma central, y cada solicitud deja un rastro que puedes inspeccionar después.
La mayor limitación es el alcance. Esto es infraestructura para quienes despliegan sistemas de IA, no una aplicación de chat que puedas dar a un usuario no técnico. La configuración implica conectar cuentas de modelos, definir modelos virtuales y enlazar la puerta de enlace con tus propios servicios. Los equipos pequeños en el plan gratuito alcanzan los límites de solicitudes enseguida, y cualquier uso más allá de lo básico te lleva a los planes de pago o a una conversación con ventas. Si solo quieres probar un chatbot, esto es más maquinaria de la que necesitas.
Primeros pasos
- Crea una cuenta en TrueFoundry y elige el plan Developer para empezar a probar sin tarjeta de crédito.
- Conecta las cuentas de tus proveedores de modelos, como OpenAI, Anthropic o un punto de acceso autoalojado, para que la puerta pueda alcanzarlos.
- Configura un modelo virtual, que es un destino con nombre al que llama tu aplicación en lugar de un proveedor en bruto.
- Apunta tu aplicación al punto de acceso de la puerta de enlace y envía una solicitud de prueba para confirmar que el enrutamiento funciona.
- Añade límites de velocidad, reglas de presupuesto y barreras de seguridad una vez que el tráfico básico ya fluye.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de TrueFoundry AI Gateway.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Ingenieros de plataforma y de ML
- Responsables de ingeniería en empresas medianas y grandes
- Personal de seguridad y cumplimiento
Tareas
- Enrutar solicitudes entre varios proveedores de modelos
- Controlar el gasto en LLM
- Añadir barreras de seguridad a la salida del modelo
- Conectar agentes a herramientas de forma segura
Casos de uso
- Una startup que pasa de un prototipo a un producto multiinquilino
- Una empresa que afronta reglas de residencia de datos
- Un equipo que compara proveedores por coste y calidad
Funciones clave
API unificada de LLM
Un solo punto de acceso conecta con OpenAI, Anthropic, modelos autoalojados y otros, así que cambiar o añadir un proveedor es un cambio de configuración y no de código. Tu aplicación sigue llamando a la misma URL mientras la puerta de enlace gestiona las diferencias entre proveedores. Eso es la promesa central. Para equipos que lidian con varios proveedores, elimina mucho código de pegamento.
Enrutamiento inteligente y respaldos
La puerta de enlace elige qué modelo debe atender cada solicitud y puede redirigir el tráfico de forma automática cuando un proveedor va lento o está caído. Tú defines las reglas una sola vez. El tráfico las sigue sin conmutación manual. Para cualquier cosa de cara al cliente, el respaldo automático marca la diferencia entre un tropiezo y una caída.
Límites de velocidad y presupuestos de tokens
Puedes limitar el uso por equipo, usuario o proyecto y seguir el consumo de tokens frente a esos topes. Así es como evitas que un script experimental se coma el presupuesto pensado para todos. Es la forma más clara de control de costes de IA que ofrece el producto. Los presupuestos también dan a finanzas una imagen más nítida de a dónde va realmente el gasto en IA.
Barreras de seguridad
Las barreras de seguridad integradas revisan la entrada y la salida del modelo según tus políticas y pueden bloquear o marcar respuestas que cruzan la línea. El plan gratuito solo incluye reglas integradas. Un control más completo requiere un plan de pago. Si tu aplicación maneja indicaciones generadas por usuarios, esta es la capa que evita que salga a producción una salida dañina sin revisar.
Observabilidad y trazas
Cada solicitud se registra con latencia, recuentos de tokens y resultados, y la retención de registros es de 7 días en el plan gratuito y de 30 días en Pro. El trazado es compatible con OpenTelemetry, así que puede alimentar Grafana, Datadog o Prometheus en lugar de atraparte en un solo panel. Poder ver la ruta completa desde la indicación hasta la respuesta del modelo es lo que convierte una función de IA opaca en algo que puedes depurar.
Puerta de enlace MCP
La puerta de enlace MCP conecta agentes con herramientas y servidores MCP con descubrimiento, autenticación y control de acceso centralizados. Los agentes obtienen sus credenciales a través de la puerta en lugar de guardar claves ellos mismos. Eso mantiene auditable el acceso a las herramientas. Para equipos que construyen flujos de trabajo agénticos, es mejor que repartir claves por los scripts.
Opciones de despliegue
La puerta de enlace funciona como SaaS, dentro de tu VPC, en local o en un entorno aislado, y TrueFoundry afirma que los datos nunca salen de tu dominio en las rutas autoalojadas. Esa flexibilidad es la razón de que encaje con compradores regulados. Tú eliges el modelo de despliegue que se ajusta a tus reglas de cumplimiento.
Ventajas y desventajas
Ventajas
- Una sola API en muchos proveedores significa menos trabajo de integración y cambios de modelo más sencillos.
- Los presupuestos y límites de velocidad centrales dan una visión clara de a dónde va el gasto en LLM.
- Las opciones autoalojadas y aisladas mantienen las indicaciones y las respuestas dentro de tu propia red.
- El trazado compatible con OpenTelemetry se conecta a las herramientas de monitorización que ya usas.
- El plan gratuito Developer para hasta 3 usuarios abarata la evaluación antes de comprometerte.
Desventajas
- Está hecho para ingenieros. Los equipos no técnicos no pueden simplemente cogerlo y usarlo.
- El plan gratuito te limita a 3 usuarios y 10 000 solicitudes por usuario, algo que se agota rápido en pruebas reales.
- Los servidores MCP, las cuentas de modelos y los modelos virtuales están limitados en los planes inferiores, así que chocas con muros enseguida.
- El precio empresarial solo se da por presupuesto. Eso dificulta planificar antes de hablar con ventas.
Preguntas frecuentes
Se sitúa entre tu aplicación y tus proveedores de modelos, y gestiona autenticación, enrutamiento, respaldos, límites de velocidad y registro en un solo lugar. Entonces, ¿qué cambia para ti? Cada solicitud pasa por la puerta de enlace, que es donde viven tus reglas de gobernanza. Ese es el sentido de todo.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con TrueFoundry AI Gateway.
Alternativas a TrueFoundry AI Gateway
Base Code
Base44 (Wix) · Programación · ProductividadBase Code es un entorno de desarrollo en la nube compartido de Base44. El equipo describe cambios sobre un repositorio de GitHub en el chat, los ve en una vista previa y los envía como pull requests.
Google EmbeddingGemma 2
Google DeepMind · Escritura · Imagen · ProgramaciónGoogle EmbeddingGemma 2 es un modelo abierto de 740 millones de parámetros que convierte texto, código, imágenes, audio y fotogramas de vídeo en vectores de un mismo espacio de 768 dimensiones, y funciona en móviles y portátiles.
GitGlow
GitGlow · Programación · ProductividadGitGlow es un cliente Git de escritorio que reúne tu código y los cambios de tus agentes de IA en una sola revisión, para que sepas qué va a salir de tu máquina antes de publicarlo.