Grok 2.5 (OSS Ver.)

El sentido de esta publicación es el acceso. xAI liberó el checkpoint entrenado de Grok 2 como pesos descargables, así que puedes ejecutarlo en tus propias máquinas en lugar de llamar a un endpoint alojado. El repositorio contiene 42 archivos y unos 500 GB, y lo cargas en local con un motor de inferencia, no desde una página web. Para los equipos que necesitan el modelo dentro de casa, ese es todo el valor.

Grok 2.5 usa un diseño de mezcla de expertos, en el que cada capa guarda varias redes de expertos y solo un par se activa por token. Eso mantiene el cómputo por petición más bajo que un modelo denso del mismo tamaño total, algo que importa cuando pagas GPU por horas. Es el mismo enfoque general que xAI usó en toda la línea Grok, y es la razón por la que el checkpoint puede ser grande sin volverse inutilizable.

El modelo acepta un contexto de 128K tokens, suficiente para sostener un documento largo en una sola conversación. Puedes meter un informe extenso, un archivo de código o una transcripción y preguntar sobre todo ello sin trocearlo antes. Para tareas como revisar documentos o redactar textos largos, esa ventana elimina buena parte de la fontanería que tendrías que montar alrededor de un modelo más pequeño.

xAI orienta a los usuarios hacia SGLang como forma de servir el modelo, y los pasos del repositorio son concretos. Repartes el paralelismo tensorial en 8 GPU, cada una con más de 40 GB de memoria, y aplicas cuantización FP8 para encajar los pesos. Las instrucciones dan por hecho un servidor Linux con ese hardware, así que el modelo apunta a quien ya opera infraestructura de inferencia, no a principiantes.

Como los pesos son públicos, puedes evaluar el modelo, inspeccionar cómo enrutan sus expertos y ajustarlo con tus datos. Eso lo distingue de un chatbot alojado, donde solo recibes texto de entrada y texto de salida. La publicación ofrece a los investigadores un checkpoint de un laboratorio con nombre para comparar, algo útil cuando las cifras de benchmark publicadas son difíciles de reproducir por otros medios.

Ejecutar Grok 2.5 por tu cuenta significa que las peticiones y las respuestas nunca salen de tu red. No hay llamada a una API externa ni un proveedor que vea tu tráfico. Para equipos que manejan material sensible, datos regulados o código interno, ese control suele ser el factor decisivo entre un modelo alojado y uno abierto, incluso cuando un servicio alojado saldría más barato.