ModelleBeliebt

Inkling 2 Mini rechnet dreimal durch dieselben Schichten und passt auf einen Laptop

Thinking Machines Lab lässt die zwölf mittleren Schichten seines neuen Modells dreimal pro Token laufen. Das ist der ganze Trick, und er entscheidet, ob 26,4 Milliarden Parameter auf einen Laptop passen.

Anna WeberAnna Weber
Beliebtheit: 1,710
Ein Laptop-Umriss mit drei gestapelten Schichtfolien, die in einem Pfeilkreislauf durch das Gerät laufen

Thinking Machines Lab lässt die zwölf mittleren Schichten seines neuen Modells dreimal pro Token laufen. Das ist der ganze Trick, und er entscheidet, ob 26,4 Milliarden Parameter auf einen Laptop passen.

Was Thinking Machines Lab mit dem looped transformer meint

Zwei Sätze Mechanik reichen hier. Inkling 2 Mini hat 24 Decoder-Schichten, und die Schichten 6 bis 17 laufen pro Token dreimal durch. Am Ende stehen 48 Schichtbesuche auf 24 gespeicherten Schichten. Ein looped transformer speichert also weniger Gewichte und rechnet an derselben Stelle länger.

So weit die Mechanik.

Das Unternehmen nennt dafür einen Grund. Das Modell könne länger nachdenken, ohne die Zwischenschritte in seine Gedankenkette zu schreiben, heißt es in der Ankündigung vom 20. November. Für agentische Programmieraufgaben ist das der Punkt: Rechenzeit ersetzt ausgeschriebene Begründungen.

Thinking Machines legt deshalb neben den Gewichten auch Forschung zur Beobachtbarkeit vor. Weniger aufschreiben heißt nicht weniger denken.

Die Zahlen hinter Inkling 2 Mini

Wer das Modell selbst betreiben will, braucht andere Werte als den Benchmark-Sieg. Inkling 2 Mini ist ein Mixture-of-Experts-Modell, also ein Netz, das pro Token nur einen Teil seiner Experten rechnet. Von 26,4 Milliarden Parametern sind 3,4 Milliarden aktiv, und pro Token kommen 5,4 Milliarden Gewichts-Aktivierungen zusammen.

Jede Schicht schickt einen Token an 8 von 128 Experten. Der Kontext fasst eine Million Token, Bilder nimmt das Modell ebenfalls an. Rund 20 GB wiegen die Gewichte, weil 20 Schichten von Haus aus in NVFP4 trainiert und ausgeliefert werden und die letzten vier in MXFP8. Eine Umrechnung nach dem Training entfällt damit.

Eigenschaft

Wert

Parameter gesamt / aktiv

26,4 Mrd. / 3,4 Mrd.

Gewichts-Aktivierungen pro Token

5,4 Mrd.

Experten pro Schicht

128, davon 8 gewählt

Kontext

1 Mio. Token, Text und Bild

Gewichte

etwa 20 GB, 20 Schichten NVFP4, vier Schichten MXFP8

Was die Benchmarks von Inkling 2 Mini hergeben

Die Zahlen kommen von den beiden Herausgebern, nicht von einer unabhängigen Prüfstelle. Thinking Machines sagt, Inkling 2 Mini liege bei DeepSWE v1.1 mit 48,2 Prozent vor allen offenen Modellen unter 100 Milliarden Gesamtparametern, und bei Vals Index v2.2 mit 46,5 Prozent ebenfalls. DeepSWE misst, wie gut ein Modell echte Software-Aufgaben in einem Repository löst.

Im Artificial Analysis Intelligence Index v5 steht das Modell bei 20,1 und damit gleichauf mit Qwen3.8-27B. Hugging Face hat in seinem Vergleich 48 Benchmarks gegeneinander gestellt und meldet 32 Siege für Inkling 2 Mini, das damit in der Mehrzahl der getesteten Aufgaben vor der Konkurrenz aus derselben Gewichtsklasse liegt.

Einzelne Zeilen aus der Tabelle der beiden Posts: SWE-bench Verified 79,2 Prozent, SWE-bench Pro v2 Hard 77,9 Prozent, BrowseComp 79,0 Prozent, MCP Atlas 82,7 Prozent, OmniDocBench v1.6 92,8 Prozent, LongBench v2 66,9 Prozent. Namen sagen hier wenig. Die Aufgaben sagen mehr: Fehlerbehebung im Code, Webrecherche, Werkzeugaufrufe und das Auslesen langer Dokumente.

Wo Inkling 2 Mini schwächer ist als Qwen3.8-27B

Die Gegenprobe steht in derselben Tabelle und wird gern überlesen. Bei MultiChallenge kommt Inkling 2 Mini auf 50,0 Prozent, bei ComplexConstraints v1.1 auf 33,4 Prozent. In beiden Fällen liegt Qwen3.8-27B vorn. Das sind Aufgaben mit mehreren Gesprächsrunden und mit vielen harten Vorgaben, also genau die Fälle, in denen ein Assistent im Alltag scheitert.

Terminal Bench v2.1 endet bei 71,6 Prozent gegen 73,0 Prozent für Qwen3.8-27B, ein Unterschied innerhalb der üblichen Streuung. Bei CritPt v2 und HLE-Diamond liegt das Modell hinter größeren Modellen zurück, was bei 3,4 Milliarden aktiven Parametern wenig überrascht.

Auch der lange Kontext ist nicht fehlerfrei. Beim MRCR v2 mit acht Nadeln zwischen 256K und 512K stehen 46,4 Prozent. Eine Million Token Kontext heißt also nicht, dass das Modell in der Mitte eines langen Dokuments alles wiederfindet.

Warum open weights keine Fakten hinzufügen

Hier wird es unbequem für die Erzählung vom kleinen Modell, das alles kann. Thinking Machines schreibt selbst, dass Schleifen keine Fakten speichern. Die Werte im AA-Omniscience-Test liegen im Rahmen anderer Modelle derselben Größe, und die Gewinne aus zusätzlichen Durchläufen zeigen sich beim langen Kontext und beim mehrstufigen Schließen, nicht bei Fragen aus dem Stand.

Die Forschungsvariante TML-d24-varloop-research macht das sichtbar. Sie erlaubt ein bis fünf Durchläufe. Ohne ausgeschriebene Gedankenkette stieg der Zeithorizont von 16 Sekunden bei einem Durchlauf auf 37 Sekunden bei drei. Bei fünf Durchläufen wurden die Gedankenketten mit 1.661 Token im Schnitt kürzer als die 3.703 Token bei einem Durchlauf, während Satzlänge und Anteil seltener Wörter gleich blieben.

Für die Praxis heißt das: Wer Fakten braucht, braucht Suchmaschine oder Werkzeuge. Die open weights machen das Modell nicht klüger, sie machen es verfügbar.

So läuft Inkling 2 Mini lokal

Der Start ist breiter als bei vielen offenen Releases. Die Gewichte liegen auf Hugging Face, SGLang unterstützt das Modell ab dem ersten Tag, und llama.cpp bietet GGUF-Quantisierungen in IQ4_NL und Q8_0, die sich über die Llama App laden lassen. Auf dem Mac kommt MLX dazu, für eigene Skripte der Transformers-Pfad mit AutoModelForMultimodalLM.

Wer weniger basteln will, betreibt das Modell über Tinker und passt es dort an. Preise nennt Thinking Machines dafür nicht. Für lokale Teams zählt der andere Weg: Gewichte herunterladen, Quantisierung wählen, Kontext konfigurieren.

Mit rund 20 GB Gewichten passt das Modell in eine Grafikkarte der 24-GB-Klasse, wenn man die Quantisierung passend wählt. Für alle, die zu Hause mit so einer Karte arbeiten, ist das die relevante Zahl. Ein Modell dieser Größe lief bisher selten ohne Abstriche auf einer Karte.

local AI im Flugmodus: der Flugsimulator auf dem MacBook

Eine Demo aus dem Blogpost zeigt, dass local AI mehr ist als ein Tabellenwert. Auf einem MacBook Pro mit M5 Pro und 48 GB lief Inkling 2 Mini im Flugmodus und baute in wenigen Minuten einen spielbaren Flugsimulator. Eine zweite Vorführung simulierte eine Kleinstadt mit 20 Figuren auf demselben Gerät.

Interessanter als die Demo ist die Messung, die zwei Stanford-Labore beisteuerten. Hazy Research und Scaling Intelligence ermittelten auf einem NVIDIA DGX Spark in MXFP8 bei geringem Denkaufwand 0,703 Intelligence-per-Joule für Inkling 2 Mini. Qwen3.6-35B-A3B kommt auf 0,430, Gemma-4-26B-A4B auf 0,159, Qwen3.5-27B auf 0,036.

Für wen das zählt? Wer mit Kundendaten arbeitet, für den ist der Unterschied zwischen einem US-Anbieter und einem Modell auf der eigenen Platte kein Detail. Daten bleiben auf dem Gerät. In vielen Betrieben ist das der Grund, überhaupt ein lokales Modell zu prüfen.

Was beim nächsten looped transformer zu prüfen ist

Ob die Schleife zum Standardwerkzeug für kleine Modelle wird, entscheidet sich an zwei Stellen. Erstens daran, ob andere Teams den Speichervorteil ohne Qualitätsverlust nachbauen können, denn Thinking Machines hat mitten im Training zwei Drittel seiner Experten gestrichen und mit einer Billion destillierter Token nachtrainiert.

Zweitens an der Beobachtbarkeit. Das Unternehmen schreibt, es habe mit steigender Zahl an Durchläufen keinen Trend zu höheren Sabotage-Werten gesehen. Das ist eine Aussage über das eigene Modell in eigenem Testaufbau. Ob sie hält, wenn jemand anderes ein Schleifenmodell mit weniger Vorsicht trainiert, ist die offene Frage dieses Releases.

Bis dahin gilt: Wer ein 27B-Modell für Werkzeugaufrufe und lange Aufgaben sucht und dabei auf die eigene Hardware angewiesen ist, hat hier eine ernsthafte Option. Wer Chatqualität über mehrere Runden braucht, sollte zuerst die schwachen Zeilen der Tabelle lesen.

Diesen Artikel teilen

Quellen

Ähnliche KI-News

Ein Terminalfenster mit einer steigenden Belohnungskurve und einem 27B-Schild daneben
Modelle

DaisyRose-27B verdoppelt den Terminal-Bench-Wert von Qwen3.8-27B in 18 Tagen

RadixArk hat 18 Tage und rund 1.200 Aufgaben in ein offenes Modell gesteckt. Danach war es auf jedem Benchmark der eigenen Tabelle besser als die Vorlage.

Beliebtheit: 1,330
Eine lange türkisfarbene Audiowellenform mit einem einzelnen orangen Akzentbalken auf dunklem Feld
Modelle

Rumble-2-Flash von Reson8: 60-mal kleiner und fast gleich gut am Telefon

Reson8 hat am 18. November 2026 ein Spracherkennungsmodell veröffentlicht, das 60-mal kleiner ist als der Vergleichsriese von Nvidia. Auf echten Kundenanrufen trennen die beiden 0,08 Prozentpunkte.

Beliebtheit: 560
Drei neonfarbene Ringe um einen kleinen leuchtenden Kern auf tiefblauem Feld
Modelle

Gemini 4 Neon ersetzt Argon: 3 Dollar je Million Tokens und zwei Namen weniger

Google hat am 18. November 2026 Gemini 4 Neon vorgestellt. Die spürbarste Änderung betrifft nicht die Benchmark-Tabelle, sondern die Auswahlliste in der App, in der zwei bekannte Modellnamen fehlen.

Beliebtheit: 1,500
Ein großer Modellkern mit Speichen für das Schlussfolgern neben einem kleineren schnellen Kern, rechts davon fallende Preisbalken
Modelle

GPT-6.2 Astra kostet 20 Prozent weniger und bleibt doch nur Siebter

OpenAI senkt den Preis für sein Spitzenmodell und lässt das günstige Modell unverändert. Ob die Rechnung pro Aufgabe besser wird, entscheidet nicht der Tokenpreis allein.

Beliebtheit: 1,900