Unsloth
Unsloth AI · Coding
Unsloth ist eine Open-Source-Plattform zum Ausführen und Trainieren von KI-Modellen auf der eigenen Maschine, egal ob über die Desktop-App, die Studio-Weboberfläche oder reines Python. Als LLM-Feinabstimmungstool wurde es populär, weil es LoRA- und QLoRA-Training deutlich schneller macht und dabei viel weniger GPU-Speicher verbraucht. Es dient außerdem als lokaler KI-Modell-Trainer, sodass man LLMs lokal für Inferenz, RAG und Agenten-Workflows ausführen kann. Für die Software selbst zahlt man nichts. Man bringt die Hardware mit, und der Code bleibt unter der Apache-2.0-Lizenz kostenlos.
Über Unsloth
Was ist Unsloth
Unsloth ist ein kostenloses Tool zum Trainieren und Ausführen großer Sprachmodelle (LLMs) und Diffusionsmodelle auf der eigenen Hardware. Es begann als Open-Source-LLM-Trainingsbibliothek, die die langsamen Teile der LoRA-Arbeit neu schrieb, und ist zu einer vollständigen lokalen Plattform gewachsen. Dazu gehört eine Desktop-App für Windows, macOS und Linux sowie eine Studio-Oberfläche zum Durchsuchen von Modellen, Chatten und Verwalten von Trainingsläufen.
Das Hauptproblem, das es löst, ist der Ressourcenhunger. Früher verlangte die Feinabstimmung eine teure GPU und viel Einrichtung. Jetzt nicht mehr. Mit Unsloth lassen sich Modelle mit einigen Milliarden Parametern auf einer einzigen Consumer-Karte feinabstimmen. Die offiziellen Notebooks lassen einen das kostenlos auf Google Colab oder Kaggle ausprobieren. Das Unternehmen sagt, seine Kernel machen das Training bis zu 2-mal schneller und senken den Speicherverbrauch deutlich, sodass ein Modell, das eine Data-Center-Karte brauchte, nun auf einen Gaming-PC passt.
Der Haken ist technisch. Unsloth lebt in Python und der Kommandozeile, und der Notebook-Workflow setzt voraus, dass man weiß, was ein Datensatz und ein Trainingslauf sind. Für absolute Anfänger gibt es keine Anleitung, und große Modelle brauchen weiterhin eine echte GPU mit genug VRAM. Und wenn man am Smartphone ist? Dann ist das nicht das gesuchte Tool.
Erste Schritte
- Prüfe die Hardware. Unsloth läuft auf Windows, Linux, WSL und macOS und unterstützt NVIDIA-, AMD- und Intel-GPUs sowie CPUs und das Vulkan-Backend. Die offizielle Dokumentation listet den minimalen VRAM für jede Modellgröße.
- Wähle einen Installationsweg. Lade die Desktop-App von der Website oder aus den GitHub Releases, führe das Installationsskript aus oder nutze das Docker-Image. Für die Arbeit am Code installiere das Python-Paket mit pip.
- Öffne die kostenlosen Notebooks, wenn du die Einrichtung überspringen willst. Die Colab- und Kaggle-Notebooks bringen GPU-Rechenzeit mit, und du fügst deinen eigenen Datensatz hinzu.
- Lade ein Modell und einen Datensatz. Nimm zum Start etwa ein kleines Instruct-Modell und richte das Notebook dann auf deine Daten aus.
- Trainiere, speichere und exportiere. Führe die Trainingszelle aus, führe dann deine Gewichte zusammen oder exportiere sie und bediene das Modell lokal.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Unsloth.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Einzelentwickler und Hobbyisten mit einer Consumer-GPU
- Forschende im maschinellen Lernen, die Experimente durchführen
- Kleine Teams, die private, lokale KI wollen
Aufgaben
- Ein LLM auf Domänendaten feinabstimmen
- Läufe mit bestärkendem Lernen
- Lokale Modelle mit RAG und Agenten ausführen
Szenarien
- Eine KI-Funktion ohne Cloud-Rechnungen prototypen
- Sensible Daten von Servern Dritter fernhalten
- Einen spezialisierten Assistenten für Laptop oder Workstation bauen
Wichtigste Funktionen
Schnelle Feinabstimmung mit weniger Speicher
Unsloth schreibt die langsamen Teile des LoRA- und QLoRA-Trainings mit eigenen Kernels neu, sodass Läufe schneller fertig werden und in weniger VRAM passen. Das Unternehmen berichtet bis zu 2-mal schnelleres Training und große Speichereinsparungen ohne Genauigkeitsverlust. In der Praxis kann eine Feinabstimmung, die einst eine gemietete GPU brauchte, auf einer einzigen Consumer-Karte laufen.
Kostenlose Notebooks für Colab und Kaggle
Das Projekt liefert einsatzbereite Notebooks für Modelle wie Qwen, Gemma, DeepSeek und gpt-oss. Man klickt auf "Run all", fügt einen Datensatz hinzu und trainiert, ohne Treiber oder CUDA von Hand einzurichten. Das ist der schnellste Weg, die Feinabstimmung auszuprobieren, bevor man etwas installiert.
Desktop-App und lokale Studio-Oberfläche
Die native Desktop-App für Windows, macOS und Linux gibt dir eine lokale Oberfläche zum Ausführen und Trainieren von Modellen. Studio, das begleitende Notebook, lässt dich Modelle durchsuchen, mit ihnen chatten und Trainingsläufe in einer Klick-Ansicht statt im Code verwalten. Es deckt Modelle unter 22B Parametern ab.
Lokale Inferenz, RAG und Agenten
Unsloth ist nicht nur zum Trainieren da. Du kannst Modelle lokal mit privater Websuche, abrufbasierter Generierung (RAG) und rollendem Kontext bedienen. Es verbindet sich mit Tools wie Claude Code, Codex und MCP-Servern. Tool-Aufrufe und Codeausführung funktionieren ebenfalls, sodass ein lokales Modell als Assistent dienen kann.
Breite Modell- und Hardware-Unterstützung
Es führt Text-, Vision-, Audio-, Embedding- und Diffusionsmodelle aus und läuft auf NVIDIA-, AMD- und Intel-GPUs sowie auf CPUs und dem Vulkan-Backend. Multi-GPU-Setups werden ebenfalls unterstützt, und dieselbe Installation deckt Windows, Linux, WSL und macOS ab, ob du eine Karte oder mehrere anschließt. Diese Bandbreite bedeutet, dass du beim Aufbau deines Setups nicht an die Hardware eines Herstellers gebunden bist.
Fern- und LAN-Zugriff
Du erreichst deine lokalen Modelle von jedem Gerät in deinem lokalen Netzwerk oder sicher über das Internet per Cloudflare HTTPS. So wird aus einer einzigen Desktop-GPU ein kleiner privater Modellserver, den du vom Smartphone oder von einer anderen Maschine nutzt.
Vor- und Nachteile
Vorteile
- Kostenlos und Open Source unter der Apache-2.0-Lizenz, ohne Abo für die Kernsoftware.
- Große Geschwindigkeits- und Speichergewinne bei der Feinabstimmung, was die Kosten fürs Training auf der eigenen GPU senkt.
- Kostenlose Colab- und Kaggle-Notebooks lassen dich den Workflow testen, ohne Hardware zu besitzen.
- Breite Modell- und Hardware-Unterstützung, einschließlich NVIDIA, AMD, Intel und reiner CPU-Setups.
- Wächst über das Training hinaus in lokale Inferenz, RAG und Agenten-Nutzung.
Nachteile
- Der Workflow ist Code zuerst, sodass Anfänger eine echte Lernkurve mit Python und Datensätzen erwartet.
- Größere Modelle brauchen weiterhin eine fähige GPU mit viel VRAM, sodass schwache Hardware begrenzt, was du trainieren kannst.
- Es gibt keine gehostete API, was bedeutet, dass du Serving und Skalierung selbst übernimmst.
- Die Dokumentation bewegt sich schnell, und ein sich schnell änderndes Projekt kann ältere Tutorials veralten lassen.
Häufige Fragen
Ja. Unsloth ist Open Source unter der Apache-2.0-Lizenz, und die Kernsoftware kostet nichts. Du zahlst nur für deine eigene Hardware. Cloud-GPU-Zeit ist optional.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Unsloth.
Alternativen zu Unsloth
Forefront
Forefront · CodingForefront ist eine Webplattform zum Bauen mit Open-Source-KI. Sie lassen sich führende Open-Source-Sprachmodelle mit eigenen Daten feintunen, ihre Leistung bewerten und sie über eine API ausführen oder exportieren, um sie selbst zu hosten. Entwickler, die den Komfort einer geschlossenen Plattform wollen, aber darauf bestehen, ihre Modelle und Daten zu besitzen, sind hier die Zielgruppe.
Startkit
StartKit.AI · CodingStartkit ist ein Boilerplate zum Bauen von KI-SaaS-Produkten und KI-Wrappern. Man kann es sich als KI-Startup-Boilerplate vorstellen, bei dem die langweiligen Teile schon verdrahtet sind: Authentifizierung, Zahlungen über Stripe und Lemon Squeezy, Nutzungslimits, transaktionale E-Mail und ein KI-API-Starter-Kit, das mit OpenAI, Anthropic, Groq oder Llama spricht. Man klont das Repository, setzt seinen Preis und kümmert sich um den Teil des Produkts, für den Menschen wirklich bezahlen. Es basiert auf Next.js über React und Tailwind, deshalb fühlt sich ein Großteil des Boilerplate-Codes schon vertraut an.
Testim
Tricentis · CodingTestim ist eine KI-gestützte Plattform für Testautomatisierung, mit der man End-to-End-Tests für Web-, Mobile- und Salesforce-Anwendungen baut und ausführt. Sie setzt auf maschinelles Lernen, um Tests stabil zu halten, wenn sich eine Oberfläche ändert, sodass Teams weniger Zeit mit der Reparatur kaputter Selektoren verbringen. Nicht schlecht für ein Tool für automatisierte Tests, das Sie heute schon nutzen können. Sie erstellen Tests, indem Sie Aktionen im Browser aufzeichnen, und fügen danach JavaScript hinzu, wenn Sie mehr Kontrolle brauchen. Für ein beschäftigtes QA-Team eine solide Wahl.