Mercury

Mercury schreibt Tokens parallel statt nacheinander, der Kern grund, warum es mehrere Male schneller ist als herkömmliche Modelle. Inception berichtet eine Zeit bis zum ersten Token unter 300 ms und 1.107 Tokens pro Sekunde auf breit verfügbaren NVIDIA-GPUs. Dieser Unterschied klingt technisch, bis man ihn nutzt. Für einen Nutzer ist das der Unterschied zwischen einem Assistenten, der sofort wirkt, und einem, der ihn warten lässt, während ein Kringel dreht, genau die Art kleiner Verzögerung, die Menschen still von einem Produkt wegtreibt.

Das Modell Mercury 2.5 nimmt bis zu 260.000 Tokens Kontext in einer einzigen Anfrage. Das reicht für lange Dokumente, große Codedateien oder eine lange Gesprächshistorie, ohne sie zu zerstückeln. Langes Kontextfenster plus hohe Geschwindigkeit ist eine ungewöhnliche Kombination, da die meisten schnellen Modelle ihre Fenster bescheiden halten, und Teams, die mit großen Codebasen oder langen Berichten arbeiten, spüren diese Lücke sofort. Riesiger Vorteil für große Dateien.

Sie können einstellen, wie viel internes Reasoning das Modell pro Anfrage leistet. Drehen Sie es hoch für schwere Probleme, die schrittweises Denken brauchen; drehen Sie es runter für einfache Abfragen, bei denen zusätzliches Reasoning nur Latenz und Kosten bringt. Diese Kontrolle ist bei gehosteten Modellen selten, wo Reasoning meist an oder aus ist. Schön.

Mercury kann seine Ausgabe darauf beschränken, einem von Ihnen definierten JSON-Schema zu entsprechen. Diffusion lässt es Tokens als Gruppe korrigieren, was laut Inception strukturierte Ausgabe verlässlicher macht. Weniger kaputte Antworten. Entwickler haben weniger fehlerhafte Ausgabe zum Aufräumen, wenn sie Ergebnisse in den nächsten Schritt einer Pipeline einspeisen, die Art kleiner Schnittwunde, die sich schnell summiert, sobald ein Workflow tausendfach am Tag in Produktion läuft.

Das Modell kann mehrere Tool- oder Funktionsaufrufe auf einmal abfeuern, statt auf jeden einzelnen zu warten. In einem Agenten, der einen Kalender prüft, eine Datenbank abfragt und das Web durchsucht, spart diese Parallelität echte Sekunden in der Antwort. Es passt zu den mehrstufigen Workflows, für die Mercury beworben wird, und wer einen Agenten schon durch fünf aufeinanderfolgende Aufrufe hat quälen sehen, weiß, wie sehr sich diese Wartezeit über ein Gespräch summiert. Großer Gewinn für Agenten.

Mercury ist ein Diffusions-LLM, oder dLLM. Inception beschreibt es als eines der größten bisher trainierten Diffusions-Sprachmodelle. Die Architektur öffnet zudem einen Weg, Text mit Audio, Bildern und Video in einem Rahmen zu mischen. Das heute ausgelieferte Produkt ist zuerst Text.