OnDemand

O OnDemand traz um catálogo de modelos hospedados para texto, visão e dados, e o Playground deixa comparar respostas antes de decidir. Você roda o mesmo prompt em vários modelos e fica com o que cabe no orçamento e na latência. É o caminho mais curto para saber se uma tarefa tem solução antes de construir em volta dela.

O Bring Your Own Inference aponta o OnDemand para um endpoint que você já opera. O Bring Your Own Model vai além: sobe um modelo do Hugging Face em vLLM com GPUs dedicadas e usa seu próprio token para pesos privados. Com isso, um modelo ajustado segue em produção sem mover dados nem pagar hospedagem duas vezes.

Os agentes levam o modelo para fora do chat. Um agente REST transforma um esquema OpenAPI em ações chamáveis, um agente de conhecimento responde a partir de documentos indexados e os conectores ligam serviços externos via OAuth. Agentes IoT por MQTT e o agente de terminal cobrem dispositivos e servidores, o que importa quando o fluxo encosta em hardware.

O construtor encadeia modelos, agentes e lógica em uma rotina repetível. Os nós resolvem desvios, transformações de dados e chamadas de ferramenta, então um trabalho de várias etapas roda como um fluxo, não como uma fila de scripts. Cada fluxo publicado ganha endpoint e histórico de execuções, o que facilita rastrear falhas.

Os arquivos enviados são lidos, divididos em trechos e guardados em um banco de dados vetorial gerenciado. As respostas se apoiam nesses trechos, e os ajustes de busca ficam disponíveis para regular tamanho do trecho e número de resultados. A gestão de arquivos aguenta documentos grandes, então um PDF de 200 páginas não trava a ingestão.

Todo objeto tem API: chat, agentes, fluxos e execuções, sob uma mesma URL base com chaves e limites padrão. Webhooks devolvem o resultado ao seu sistema quando a execução termina. As aplicações serverless hospedam funções pequenas ao lado dos agentes, e isso reduz o número de serviços para operar.