Modelle

"DeepSeek öffnet DeepInfer: der halbe Motor hinter V4.1-Flash"

Der Inferenz-Stack, der DeepSeeks eigene Dienste trägt, liegt jetzt unter Apache 2.0 auf GitHub. Ein paar der wichtigsten Teile fehlen, und die Hardwareliste ist kurz.

Anna WeberAnna Weber
Beliebtheit: 1,420
"DeepSeek öffnet DeepInfer: der halbe Motor hinter V4.1-Flash"

Der Inferenz-Stack, der DeepSeeks eigene Dienste trägt, liegt jetzt unter Apache 2.0 auf GitHub. Ein paar der wichtigsten Teile fehlen, und die Hardwareliste ist kurz.

Was DeepInfer ist und was es nicht ist

DeepSeek hat am 20. Oktober ein Repository namens DeepInfer veröffentlicht, die Engine, die hinter den eigenen API-Diensten läuft. Die Lizenz ist Apache 2.0, kommerzielle Nutzung und Änderungen sind also erlaubt.

Der Umfang ist schmal. Das Projekt unterstützt derzeit genau ein Modell, DeepSeek-V4.1-Flash, und lädt standardmäßig den Checkpoint 1017, der am Wochenende erschienen ist. Wer eine andere Modellfamilie betreiben will, muss sie selbst einbauen.

Das ist kein Zufall, sondern eine Entscheidung: DeepSeek baut die Engine um ein einziges Modell herum und nicht umgekehrt, was den Adoptionspfad für alle anderen Modellfamilien schmal hält. Wer prüfen will, ob DeepInfer zu seinem Stack passt, sollte deshalb zuerst fragen, ob er überhaupt V4.1-Flash betreibt.

Die Ideen, die den Durchsatz bringen

Zwei Mechanismen stechen aus der README heraus. Der erste heißt DSpark und betrifft spekulative Dekodierung, ein Verfahren, bei dem ein kleines Modell mehrere Tokens vorab rät und das große Modell nur noch prüft. DeepSeek lässt den Entwurf fünf Tokens vorschlagen und trainiert einen Confidence-Kopf, der vorhersagt, welche davon das Hauptmodell annehmen wird. Geprüft werden dann nur die wahrscheinlichsten Kandidaten, was die Prüfarbeit pro Schritt um etwa 30 Prozent senkt. Unter Produktionslast schätzt DeepSeek den Gewinn auf 4 bis 7 Prozent Durchsatz.

Der zweite Mechanismus betrifft die Aufmerksamkeit über begrenzte Fenster. Statt bei jedem neuen Kontext alles neu zu rechnen, schickt DeepInfer nur die letzten 128 bis 140 Tokens erneut durch den Decoder. Nach Angaben des Unternehmens halbiert das den Rechenaufwand für den Prefill fast.

Dazu kommen optimierte Kernel (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect und eigene TileLang-Kernel), eine Parallelisierung aus Attention-DP und balanciertem CP sowie MoE-Expert-Parallelismus mit EPLB, also einer Lastverteilung über Experten hinweg. Asynchrones Scheduling, deterministisches Sampling, batch-invariante Inferenz und strukturierte Ausgabe per Regex, JSON-Schema oder EBNF sind ebenfalls dabei. Die beiden letzten Punkte gelten nur auf NVIDIA-Hardware, deterministisches Sampling ebenfalls.

Was DeepSeek nicht veröffentlicht hat

Hier wird es für alle interessant, die mit dem Gedanken spielen, den Stack selbst zu betreiben. Drei zentrale Teile fehlen: das KV-Cache-System, die Trennung von Prefill und Decode auf getrennte Maschinen und die Lastverteilung über mehrere Repliken.

DeepSeek begründet das mit der engen Kopplung an die eigene Infrastruktur. In einem Blogbeitrag auf Zhihu erklärt das Team, wie diese Teile funktionieren, stellt aber keinen Code bereit.

Kein Repository, keine Patches.

Was fehlt, um den Stack produktiv zu betreiben? Genau diese drei Teile. Ohne sie bleibt DeepInfer ein Gerüst, das erst mit eigener Infrastrukturarbeit rundläuft. Für ein Forschungsteam, das nur eine API testen will, ist das kein Hindernis, für einen Anbieter, der V4.1-Flash als Dienst verkaufen möchte, dagegen schon.

Auch die Größenordnung ist eine Ansage. Für einen effizienten Betrieb nennt DeepSeek mindestens 64 GPUs für den Prefill und 64 für den Decode. Das sind 128 Beschleuniger, bevor der erste Token fließt.

Hardware: Blackwell und Ascend 950, kein Hopper

Die Liste der unterstützten Beschleuniger ist kurz und aktuell. DeepInfer läuft auf NVIDIAs SM100, also Blackwell, und auf Huaweis Ascend 950 NPU. Ältere NVIDIA-Karten, Hopper eingeschlossen, werden nicht unterstützt.

Damit fällt ein großer Teil der Hardware aus, die heute in Rechenzentren steht. Wer H100 oder H200 betreibt, kann DeepInfer darauf nicht sinnvoll testen.

Ein zweiter Punkt gehört dazu: Alle Benchmarkzahlen stammen von NVIDIA-Hardware und sind Angaben von DeepSeek. Für den Prefill nennt das Team vier SM100, für den Decode 64. Vergleichswerte für Ascend veröffentlicht das Unternehmen nicht. Ob der Stack auf der Huawei-Seite ähnlich skaliert, ist damit offen.

Was die Betriebszahlen aussagen

In einem Frage-und-Antwort-Abschnitt nennt DeepSeek zwei Zahlen aus dem eigenen Betrieb, die man getrennt lesen sollte. Ein einzelner Cluster bediene täglich 155 Billionen Tokens. Bei Preisen außerhalb der Stoßzeiten entspreche das Einnahmen von etwa 38 Dollar pro GPU und Stunde.

Die zweite Zahl ist keine Marge. Es ist Umsatz pro Karte, gerechnet mit einer Preisliste, die das Unternehmen selbst festlegt. Wer daraus einen Business Case bauen will, muss Strom, Kühlung, Abschreibung und Auslastung dazurechnen. Rechnet man diese Posten ein, bleibt von den 38 Dollar pro Karte und Stunde deutlich weniger übrig, und wie viel weniger, hängt an der Auslastung, die DeepSeek nicht nennt.

Warum DeepSeek seine Haltung geändert hat

Im April 2025 hatte DeepSeek erklärt, die eigene Engine nicht zu veröffentlichen. Die Begründung damals: zu enge Kopplung an die Clusterverwaltung, und kleine Forschungsteams hätten keine Kapazität, ein großes Open-Source-Projekt zu pflegen. Stattdessen erschienen nach und nach einzelne Bausteine wie FlashMLA, DeepGEMM und DeepEP.

Der Kurswechsel hat eine Vorgeschichte. Ende September brachte DeepSeek mit Huawei TileLang auf die Ascend-Plattform, und laut Bloomberg plant das Unternehmen, in einem neuen Rechenzentrum in der Inneren Mongolei mindestens 160.000 Ascend-950DT-Chips einzusetzen. Eine Engine, die sowohl auf Blackwell als auch auf Ascend läuft und öffentlich dokumentiert ist, passt besser zu einem Konzern, der seine Kapazität künftig zu einem großen Teil auf Huawei-Hardware aufbauen will, als ein Stack, der nur hinter der eigenen API sichtbar wird.

Dazu kommt der Zeitpunkt. Einen Tag vor der Veröffentlichung wies das US-Heimatschutzministerium zivile Bundesbehörden an, DeepSeek-Produkte zu entfernen, einschließlich Dienstleistungen Dritter, die auf der Technik basieren. Für DeepSeek ist das ein Grund mehr, die eigene Software dort zu platzieren, wo sie ohne den eigenen API-Zugang läuft.

Was das für Teams bedeutet

DeepInfer ist kein Ersatz für vLLM oder SGLang, sondern ein Spezialwerkzeug. Der Code stammt ursprünglich überwiegend aus vLLM, mit Anleihen bei SGLang und TensorRT-LLM. Die mitgelieferte Bibliothek deepseek-recipe übersetzt Anfragen mit derselben Logik in Tokens, die auch die offizielle API verwendet.

Wer V4.1-Flash auf Blackwell betreibt und mindestens 128 Karten stellen kann, bekommt einen Stack, der auf genau diese Kombination zugeschnitten ist, und darf davon ausgehen, dass die Optimierungen aus dem eigenen Produktivbetrieb stammen und nicht aus einem Labortest mit einem Modell, das nie jemand bezahlt hat.

Für alle anderen bleibt es Lesestoff. Die README zeigt, wie DeepSeek spekulative Dekodierung, Kernel und Parallelisierung zusammensetzt, und das ist auch dann nützlich, wenn man die fehlenden Teile selbst bauen muss.

Ein Punkt gehört noch dazu: Die Dokumentation ist knapp. Wer nach Beispielen für einen eigenen Konnektor sucht, findet wenig. Das passt zu einem Projekt, das zuerst für den eigenen Betrieb geschrieben wurde.

Diesen Artikel teilen

Quellen

Ähnliche KI-News

Ein Terminalfenster mit einer steigenden Belohnungskurve und einem 27B-Schild daneben
Modelle

DaisyRose-27B verdoppelt den Terminal-Bench-Wert von Qwen3.8-27B in 18 Tagen

RadixArk hat 18 Tage und rund 1.200 Aufgaben in ein offenes Modell gesteckt. Danach war es auf jedem Benchmark der eigenen Tabelle besser als die Vorlage.

Beliebtheit: 1,330
Ein Laptop-Umriss mit drei gestapelten Schichtfolien, die in einem Pfeilkreislauf durch das Gerät laufen
Modelle

Inkling 2 Mini rechnet dreimal durch dieselben Schichten und passt auf einen Laptop

Thinking Machines Lab lässt die zwölf mittleren Schichten seines neuen Modells dreimal pro Token laufen. Das ist der ganze Trick, und er entscheidet, ob 26,4 Milliarden Parameter auf einen Laptop passen.

Beliebtheit: 1,710
Eine lange türkisfarbene Audiowellenform mit einem einzelnen orangen Akzentbalken auf dunklem Feld
Modelle

Rumble-2-Flash von Reson8: 60-mal kleiner und fast gleich gut am Telefon

Reson8 hat am 18. November 2026 ein Spracherkennungsmodell veröffentlicht, das 60-mal kleiner ist als der Vergleichsriese von Nvidia. Auf echten Kundenanrufen trennen die beiden 0,08 Prozentpunkte.

Beliebtheit: 560
Drei neonfarbene Ringe um einen kleinen leuchtenden Kern auf tiefblauem Feld
Modelle

Gemini 4 Neon ersetzt Argon: 3 Dollar je Million Tokens und zwei Namen weniger

Google hat am 18. November 2026 Gemini 4 Neon vorgestellt. Die spürbarste Änderung betrifft nicht die Benchmark-Tabelle, sondern die Auswahlliste in der App, in der zwei bekannte Modellnamen fehlen.

Beliebtheit: 1,500