Edgee

O Edgee encaminha cada solicitação com base no orçamento e na política que você define, e mantém uma cadeia configurável de provedores por trás de cada regra. Se um provedor retorna um erro 5xx ou esgota o tempo, a solicitação passa para o próximo modelo em vez de falhar. Quando um teto de gasto é atingido, o roteamento muda para um modelo de pesos abertos no meio da tarefa, então uma sessão de programação não trava, e a solicitação continua em um modelo avaliado para trabalho de programação em vez de abandonar a tarefa por completo. As sessões não quebram. Isso importa durante uma refatoração longa.

O gateway enxuga tokens redundantes em duas camadas. A compressão de entrada lida com cerca de 99% do volume de tokens ao cortar as cargas de resultados de ferramentas, o conteúdo volumoso de arquivos e a saída de comandos que os agentes leem mas raramente precisam de novo, enquanto a compressão de saída mira o fluxo menor mas mais valioso de respostas do modelo. O Edgee descreve isso como sem perdas semânticas para trabalho de programação, o que significa que você obtém o mesmo resultado do modelo com menos tokens cobrados. Nenhuma mudança no código da aplicação é necessária.

O custo e o uso são detalhados por desenvolvedor, por repositório, por PR e por modelo. Os líderes de engenharia veem o gasto em tempo real em vez de esperar a fatura mensal. O plano Team adiciona tetos de gasto por assento com alertas quando um desenvolvedor se aproxima do limite, além de integração com o GitHub para atribuição por repositório e PR.

O Edgee serve GLM, Kimi e MiniMax em velocidade turbo por um preço mensal fixo. Esses são os modelos para os quais as políticas de roteamento recorrem, e são avaliados para tarefas de programação. Eles dão às equipes um alvo mais barato que mantém a qualidade próxima o bastante para terminar o trabalho.

Você pode usar as chaves de provedor do Edgee por conveniência, ou conectar as suas próprias chaves para controlar a cobrança e usar modelos personalizados. O Edgee não cobra margem sobre os tokens que você já paga a um provedor, o que mantém as configurações BYOK neutras em custo do lado do gateway.

O mesmo gateway roda dentro da sua própria infraestrutura via Docker Compose ou Helm, conectado ou isolado. Prompts, respostas e chaves de provedor nunca saem da sua rede, e é isso que torna o produto utilizável para equipes reguladas.

O catálogo abrange modelos de fronteira e de pesos abertos de todos os principais provedores, com preços ao vivo e tamanhos de contexto. No momento em que escrevo, lista 221 modelos e 974 rotas de provedor, e qualquer um deles é um alvo válido para uma regra de roteamento.

Apps e agentes podem chamar LLMs por uma só API do Edgee em vez de malabarizar SDKs de provedores separados. O uso nesse caminho é pago conforme o uso sem exigir um plano, cobrado com uma taxa de plataforma de 5% quando você recarrega créditos do Edgee.