Grok 2.5 (OSS Ver.)

Tout l'intérêt de cette publication, c'est l'accès. xAI a diffusé le checkpoint entraîné de Grok 2 sous forme de poids téléchargeables, si bien que vous pouvez l'exécuter sur vos propres machines au lieu d'appeler un point de terminaison hébergé. Le dépôt contient 42 fichiers et environ 500 Go, et vous le chargez en local avec un moteur d'inférence, pas depuis une page web. Pour les équipes qui ont besoin du modèle en interne, c'est là toute la valeur.

Grok 2.5 repose sur une architecture de mélange d'experts, où chaque couche abrite plusieurs réseaux experts et où seuls quelques-uns s'activent par token. Le calcul par requête reste ainsi plus faible que celui d'un modèle dense de taille totale équivalente, un point qui compte quand vous payez des GPU à l'heure. C'est la même approche générale que xAI a employée sur toute la lignée Grok, et c'est pourquoi le checkpoint peut être volumineux sans devenir inutilisable.

Le modèle accepte un contexte de 128K tokens, assez pour contenir un long document dans une seule conversation. Vous pouvez y déposer un rapport volumineux, un fichier de code ou une transcription et poser des questions sur l'ensemble sans avoir à découper d'abord. Pour des travaux comme la relecture de documents ou la rédaction longue, cette fenêtre supprime une bonne part de la tuyauterie qu'il faudrait monter autour d'un modèle plus petit.

xAI oriente les utilisateurs vers SGLang pour servir le modèle, et les étapes du dépôt sont précises. Vous répartissez le parallélisme tensoriel sur 8 GPU, chacun disposant de plus de 40 Go de mémoire, et vous appliquez une quantification FP8 pour faire tenir les poids. Les instructions supposent un serveur Linux doté de ce matériel, si bien que le modèle vise ceux qui exploitent déjà une infrastructure d'inférence, pas les débutants.

Les poids étant publics, vous pouvez évaluer le modèle, examiner comment ses experts se répartissent et l'affiner sur vos données. Cela le distingue d'un chatbot hébergé, où vous ne recevez que du texte en entrée et du texte en sortie. La diffusion offre aux chercheurs un checkpoint d'un laboratoire identifié pour se comparer, ce qui aide quand les chiffres de benchmark publiés sont difficiles à reproduire autrement.

Exécuter Grok 2.5 vous-même signifie que les requêtes et les réponses ne quittent jamais votre réseau. Aucun appel à une API externe, aucun fournisseur qui voit votre trafic. Pour les équipes qui manipulent des données sensibles, réglementées ou du code interne, ce contrôle est souvent le facteur décisif entre un modèle hébergé et un modèle ouvert, même quand un service hébergé reviendrait moins cher.