Grok 2.5 (OSS Ver.)

Der Sinn dieser Veröffentlichung ist der Zugang. xAI stellte den trainierten Grok-2-Checkpoint als herunterladbare Gewichte bereit, sodass Sie ihn auf eigenen Maschinen ausführen statt einen gehosteten Endpunkt aufzurufen. Das Repository enthält 42 Dateien und rund 500 GB, und Sie laden ihn lokal mit einer Inference-Engine, nicht über eine Webseite. Für Teams, die das Modell im Haus brauchen, ist das der ganze Wert.

Grok 2.5 nutzt eine Mixture-of-Experts-Architektur, bei der jede Schicht mehrere Expertennetze hält und pro Token nur ein paar davon aktiv werden. Das hält den Rechenaufwand pro Anfrage niedriger als bei einem dichten Modell gleicher Gesamtgröße, was zählt, wenn Sie GPUs stundenweise bezahlen. Es ist derselbe grobe Ansatz, den xAI über die ganze Grok-Reihe verwendet hat, und deshalb kann der Checkpoint groß sein, ohne unbrauchbar zu werden.

Das Modell nimmt 128K Token Kontext auf, genug für ein langes Dokument in einer einzigen Unterhaltung. Sie können einen umfangreichen Bericht, eine Codedatei oder ein Transkript hineinlegen und über das Ganze Fragen stellen, ohne vorher aufzuteilen. Für Aufgaben wie Dokumentenprüfung oder lange Textentwürfe spart dieses Fenster viel von dem Gerüst, das Sie sonst um ein kleineres Modell bauen würden.

xAI verweist Nutzer auf SGLang, um das Modell zu bedienen, und die Schritte im Repository sind konkret. Sie verteilen die Tensor-Parallelität auf 8 GPUs mit je mehr als 40 GB Speicher und wenden FP8-Quantisierung an, damit die Gewichte passen. Die Anleitung setzt einen Linux-Server mit dieser Hardware voraus, das Modell zielt also auf Leute, die schon Inferenz-Infrastruktur betreiben, nicht auf Einsteiger.

Weil die Gewichte öffentlich sind, können Sie das Modell testen, nachvollziehen, wie seine Experten routen, und es mit eigenen Daten nachtrainieren. Das unterscheidet es von einem gehosteten Chatbot, bei dem Sie nur Text hinein und Text heraus bekommen. Die Freigabe gibt Forschern einen Checkpoint aus einem benannten Labor zum Vergleich, was hilft, wenn veröffentlichte Benchmark-Zahlen sonst schwer nachzuvollziehen sind.

Grok 2.5 selbst zu betreiben heißt, dass Anfragen und Antworten Ihr Netz nie verlassen. Es gibt keinen externen API-Aufruf und keinen Anbieter, der Ihren Verkehr sieht. Für Teams mit sensiblen Daten, regulierten Inhalten oder internem Code ist diese Kontrolle oft der ausschlaggebende Punkt zwischen einem gehosteten und einem offenen Modell, selbst wenn ein gehosteter Dienst günstiger wäre.