Grok 2.5 (OSS Ver.)

O sentido desta liberação é o acesso. A xAI publicou o checkpoint treinado do Grok 2 como pesos baixáveis, então dá para rodá-lo nas suas máquinas em vez de chamar um endpoint hospedado. O repositório traz 42 arquivos e cerca de 500 GB, e você o carrega localmente com um motor de inferência, não por uma página web. Para os times que precisam do modelo dentro de casa, esse é todo o valor.

O Grok 2.5 usa um projeto de mistura de especialistas, em que cada camada guarda várias redes especialistas e só um par é ativado por token. Isso mantém o custo de processamento por requisição mais baixo do que um modelo denso do mesmo tamanho total, o que pesa quando você paga GPU por hora. É a mesma abordagem ampla que a xAI usou em toda a linha Grok, e é por isso que o checkpoint pode ser grande sem ficar inutilizável.

O modelo aceita um contexto de 128K tokens, o bastante para segurar um documento longo numa única conversa. Você pode jogar um relatório extenso, um arquivo de código ou uma transcrição e perguntar sobre tudo isso sem dividir antes. Para trabalhos como revisar documentos ou redigir textos longos, essa janela tira boa parte da engenharia que você montaria em volta de um modelo menor.

A xAI orienta os usuários a usar o SGLang para servir o modelo, e os passos do repositório são específicos. Você distribui o paralelismo tensorial em 8 GPUs, cada uma com mais de 40 GB de memória, e aplica quantização FP8 para encaixar os pesos. As instruções presumem um servidor Linux com esse hardware, então o modelo mira quem já opera infraestrutura de inferência, não iniciantes.

Como os pesos são públicos, você pode avaliar o modelo, inspecionar como seus especialistas roteiam e ajustá-lo com os seus dados. Isso o distingue de um chatbot hospedado, em que você só recebe texto de entrada e texto de saída. A liberação dá aos pesquisadores um checkpoint de um laboratório com nome para comparar, o que ajuda quando os números de benchmark publicados são difíceis de reproduzir de outro jeito.

Rodar o Grok 2.5 por conta própria significa que prompts e respostas nunca saem da sua rede. Não há chamada a uma API externa nem fornecedor vendo o seu tráfego. Para times que lidam com material sensível, dados regulados ou código interno, esse controle costuma ser o fator decisivo entre um modelo hospedado e um aberto, mesmo quando um serviço hospedado sairia mais barato.