Ultra AI

Todas as requisições vão para https://api.ultraai.app/v1, então os SDKs oficiais da OpenAI funcionam sem alteração. Provedor e modelo são nomeados dentro da requisição, não no código. Esse endpoint único explica por que trocar de provedor leva minutos e não um sprint.

Os prompts ficam no painel, não espalhados por arquivos do repositório. Você edita, versiona e referencia por chave, e mudanças de texto deixam de se misturar com deploys. Quem reescreve instruções todo dia tira mais proveito disso.

São dois modos e juntos cobrem quase tudo: cache exato para requisições idênticas e cache por similaridade para prompts que dizem a mesma coisa com outras palavras. O limite de similaridade e o tempo de validade são definidos em cada chamada. A empresa fala em até 10 vezes menos custo de API, número que depende de quanto o seu tráfego se repete.

Cada chamada entra no log com latência, tokens, custo e a rota que tomou. As visões agregadas mostram gasto por modelo e taxa de erro ao longo do tempo. É a parte de observabilidade de IA que quase nenhum gateway caseiro inclui, e costuma ser o motivo de o time manter a ferramenta.

Você lista vários modelos em ordem de prioridade e o gateway testa o próximo quando uma chamada falha. O failover cobre limites do provedor, timeouts e erros do serviço. Seu usuário recebe uma resposta mais lenta em vez de uma tela de erro.

Os tetos ficam presos ao identificador de usuário enviado em cada requisição, junto com uma contagem e uma janela de tempo. Dá para apertar uma conta específica sem tocar na configuração global. Em produto freemium, isso separa um dia ruim de um susto na fatura.