Produto

Como o OpenRouter passou a somar latência, erro e qualidade na escolha do fornecedor

A plataforma trocou o padrão de roteamento por uma conta que soma preço, latência, erro e qualidade. O custo sobe 6%, mas a espera pelo primeiro token cai.

Mariana SilvaMariana Silva
Popularidade: 1,580
Como o OpenRouter passou a somar latência, erro e qualidade na escolha do fornecedor

O OpenRouter mandava quase todo o tráfego para o fornecedor mais barato. Agora ele calcula quanto custa uma resposta boa, incluindo o tempo que você passa esperando.

O que mudou no roteamento do OpenRouter

O OpenRouter anunciou em 28 de outubro a maior reformulação do seu roteamento de fornecedores desde a fundação da empresa. A mudança é no padrão, aquele que vale quando o desenvolvedor não escolhe nada.

Antes, o critério era quase um só: preço do token de entrada. Quem cobrava menos recebia mais requisições. Agora, o sistema trabalha com o que a empresa chama de custo de roteamento, uma conta que soma preço, latência, taxa de erro e qualidade estimada de cada endpoint.

Vale entender o que o OpenRouter faz, porque não é uma loja de modelos. Ele é um intermediário: você manda uma requisição com o nome de um modelo, e a plataforma decide qual empresa vai atendê-la, entre as que servem aquele modelo. Essa decisão de bastidor é o que mudou.

O que é TTFT e por que ele pesa na conta

TTFT é a sigla de tempo até o primeiro token. Mede quanto o usuário espera entre enviar o pedido e ver o primeiro pedaço de resposta aparecer na tela.

É a métrica que mais afeta a sensação de velocidade. Um modelo pode terminar a resposta em dez segundos e ainda parecer lento, se passar sete deles sem mostrar nada. Em um chat, isso vira a diferença entre "está pensando" e "travou".

O OpenRouter passou a tratar esse tempo como dinheiro. Cada modelo tem uma taxa de conversão própria, e a espera entra no cálculo como se fosse custo. Faz sentido: quem programa um agente que roda mil chamadas por hora paga a lentidão em fila, em usuário esperando e, às vezes, em timeout.

Os números que o OpenRouter divulgou

Os resultados são da própria empresa, medidos antes de os fornecedores se ajustarem ao novo algoritmo. O TTFT caiu 16,9% e a vazão subiu 16,3%, ou seja, mais respostas por segundo no mesmo período.

Os erros de capacidade, aqueles HTTP 429 que aparecem quando o fornecedor está sem folga no pico, caíram 67%, a maior variação do conjunto. O motivo é prático: erro 429 obriga o desenvolvedor a montar nova tentativa, espera e lógica de fallback, e cada uma dessas camadas custa tempo de engenharia que ninguém planeja no início do projeto.

O custo subiu 6,0%. A empresa apresenta esse ponto como o preço da troca, e não esconde: para ganhar velocidade e reduzir falha, o roteador passou a aceitar fornecedores um pouco mais caros. Sem verificação independente até agora, os quatro percentuais devem ser lidos como relato do fornecedor.

Por que o preço de entrada enganava

Cerca de 77% das requisições vão para modelos atendidos por mais de um provedor. Nesses casos, o algoritmo antigo distribuía o tráfego pelo preço de entrada, e o efeito era previsível: quem cobrava menos ganhava volume, mesmo entregando pior.

Os problemas vinham em cadeia. O ranking era estático, então uma queda de qualidade em tempo real não mudava nada. O provedor só tinha um botão para puxar demanda, o corte de preço, o que apertava o investimento em infraestrutura. E aparecia o jogo de tabela: entrada barata, compensação no preço de saída ou no cache.

E quem paga essa conta? Quem usa a API. Você escolhe o modelo pelo nome, confia que a plataforma vai mandar para um lugar decente e recebe uma resposta lenta de um provedor que ganhou a vaga por ser barato.

Como o OpenRouter calcula o custo de uma boa resposta

A conta tem dois fatores. O primeiro é o preço de uma tentativa. O sistema pega o preço efetivo do endpoint, ajustado pela taxa real de acerto de cache recente e pela proporção entre entrada e saída, e soma o custo do tempo de espera.

O ajuste de cache existe para matar o jogo de tabela. Se o provedor anuncia entrada barata e cobra caro na saída, ou se o cache quase nunca acerta, o preço efetivo sobe e ele perde espaço.

O segundo fator é a chance de sucesso. Ela junta confiabilidade e qualidade. Erro do lado do provedor pesa muito, e quem fica bem acima da média de falhas tem o tráfego suspenso até se recuperar. Qualidade hoje olha principalmente se a chamada de ferramenta veio no formato certo, com planos de ampliar esse critério. Provedor com acurácia muito abaixo nos benchmarks é rebaixado e fica só com uma cota pequena, para observação.

O exemplo da própria empresa ajuda. Se uma em cada cinco tentativas falha, cada resposta boa custa o equivalente a 1,25 tentativa. Multiplique isso por milhares de chamadas e a diferença entre um provedor confiável e um instável deixa de ser detalhe.

Como o tráfego é dividido entre fornecedores

O roteador não manda tudo para o melhor da lista. Endpoints dentro de uma faixa competitiva dividem a maior parte do volume. Quem fica um pouco atrás recebe menos, e quem sai da faixa perde tráfego rápido.

Cada provedor mantém uma cota mínima, mesmo quando está mal na foto, porque sem esse fluxo o sistema perde a capacidade de medir. Sem esse fluxo de teste, o sistema perderia a capacidade de perceber que alguém melhorou, e o ranking congelaria de novo.

Essa parte importa para quem depende de um provedor específico por contrato ou por região. Receber menos tráfego não significa estar fora, mas a posição na fila passa a flutuar conforme latência e erro do dia.

Cache e pinning: o que o OpenRouter deixa você controlar

O roteamento continua sensível a cache. Enquanto o cache da sessão está quente, ela fica presa ao mesmo provedor, porque trocar de máquina joga fora o desconto e o histórico.

Para quem quer voltar ao comportamento antigo, existem duas saídas. O pinning fixa o provedor escolhido. O sorting ordena por preço ou por latência, sem a conta composta. As duas opções ficam disponíveis na requisição.

Vale usar com critério. Fixar provedor por preço devolve o problema que a mudança tentou resolver. Ordenar por latência faz sentido em chat ao vivo, e faz menos sentido em processamento em lote durante a madrugada, quando esperar dez segundos não muda nada.

O que observar nas próximas semanas

A empresa afirma que o ganho veio antes de qualquer ajuste dos fornecedores. Se isso procede, os números devem melhorar um pouco mais quando os provedores otimizarem para o novo critério. Também podem piorar, se alguém tentar burlar a conta de outro jeito.

Para quem desenvolve, o teste é simples. Rode a mesma carga de antes e compare três coisas: tempo até o primeiro token, quantidade de erro 429 e custo por resposta útil. Se a fatura subir 6% e o suporte parar de receber reclamação de lentidão, a troca se paga.

O ponto central é que barato deixou de ser sinônimo de eficiente. Um fornecedor que cobra menos por token e falha uma vez em cada cinco não é mais barato. É 25% mais caro por resposta que funciona, e o OpenRouter passou a escrever essa conta na tela.

Compartilhar esta notícia

Fontes

Notícias de IA relacionadas

Uma barra de busca com uma barra lateral de assistente entrando pela esquerda e atalhos logo abaixo
Produto

O Google colocou o seu histórico de conversas na página inicial da busca

A página inicial do Google Search agora tem atalhos do Gemini e uma sidebar com o histórico do AI Mode. O rollout é global no desktop, mas não chegou a todos.

Popularidade: 1,790
Uma janela de aplicativo delineada em primeiro plano, com uma segunda janela trabalhando atrás e um trajeto de cursor entre as duas
Produto

O Gemini agora mexe nos apps do seu Mac, numa janela separada

O Google liberou o computer use no app do Gemini para Mac. O assistente clica e digita por você, mas só em inglês e nos planos pagos.

Popularidade: 1,740
Balões de conversa selados dentro de uma porta de cofre com um mostrador de retenção e dois cronômetros de 72 horas desbotados
Produto

Gemini separa histórico de treinamento e estica a retenção para dois meses

Agora dá para manter as conversas salvas sem liberar o uso delas para treinar os modelos. A outra mudança vai na direção oposta: até conversa temporária fica guardada por mais tempo.

Popularidade: 1,500
Uma pilha de camadas de biblioteca sobre um pedestal, com uma etiqueta de versão travada no topo e fluxos chegando por cima
Produto

llama.cpp chega ao v1.0.0 e promete não quebrar mais seu build

Depois de três anos e meio, o llama.cpp ganhou um número de versão e um contrato de compatibilidade. Não há modelo novo nem ganho de velocidade na notícia: o que mudou foi a promessa sobre o próximo build.

Popularidade: 1,200