GoModel

O GoModel coloca OpenAI, Anthropic, Gemini, Bedrock, Vertex, Azure, Groq, Ollama, vLLM e outros atrás de um único endpoint. São 33 provedores. Ele continua compatível com os formatos de requisição da OpenAI e da Anthropic, então você muda a URL base e mantém o SDK que já conhece. Também alterna entre várias chaves por provedor com round-robin, o que distribui a carga e reduz o alcance de um único chave limitada.

Você publica nomes estáveis como smart-chat e reatribui o provedor e o modelo reais por trás deles sem tocar no código do app. Por que isso importa? As equipes ganham uma interface previsível enquanto você experimenta com o que está embaixo. O projeto apresenta isso como uma mudança de configuração, não uma mudança de app, e esse é exatamente o ponto.

Quando um provedor devolve um erro de disponibilidade, o GoModel faz failover para o próximo modelo ou provedor, tenta de novo com backoff e usa um disjuntor para absorver serviços instáveis. Ele também pode distribuir um modelo virtual entre destinos com round-robin ponderado, ou deixar o roteamento por custo escolher o modelo mais barato capaz de atender a uma requisição. O failover é automático. Esse é todo o atrativo.

Cache, auditoria, rastreamento de uso, orçamentos, barreiras de segurança e failover são chaves que você define por provedor, modelo ou caminho de usuário. Os fluxos têm versão, e o escopo mais específico vence, então uma rota pode exigir registro de auditoria enquanto outra roda mais enxuta. É flexível. É assim que você aplica comportamentos diferentes a equipes diferentes sem um monte de lógica condicional.

O GoModel pode injetar prompts de sistema ou reescrever mensagens com um LLM antes de a requisição sair. As etapas rodam em grupos ordenados, e os grupos paralelos executam juntos. É uma forma de impor um tom, bloquear certo conteúdo ou normalizar as entradas de forma central em vez de pedir que cada serviço faça isso. Menos lógica duplicada.

O cache por correspondência exata devolve requisições idênticas mais rápido e mais barato, então o mesmo prompt não paga o preço cheio duas vezes. Isso importa sobretudo em loops de agentes e retentativas, onde chamadas quase duplicadas se acumulam e queimam orçamento sem que ninguém perceba. Mudança pequena, economia real.

O rastreamento por requisição mapeia o gasto para equipes, inquilinos e recursos, indo além do único total que o painel de um provedor mostra. Os registros de auditoria e os metadados em tempo de execução tornam cada requisição rastreável, que é o que você quer quando um fallback dispara e ninguém lembra por quê. Sem adivinhação.

O gateway é entregue como um único binário Go com uma interface de administração integrada e armazenamento que escala com sua carga de trabalho por meio de SQLite, Postgres ou MongoDB. As métricas do Prometheus e o streaming SSE estão incluídos, então os ganchos de observabilidade existem desde o primeiro dia. Nada para instalar depois.