Phi-4-multimodal and Phi-4-mini
Microsoft · Coding
Phi-4-multimodal und Phi-4-mini sind die kleinen offenen Modelle von Microsoft: Eines liest Text, Audio und Bilder zugleich, das andere denkt mit 3.8B Parametern über Text nach.
Über Phi-4-multimodal and Phi-4-mini
About
Was ist Phi-4-multimodal und Phi-4-mini
Phi-4-multimodal und Phi-4-mini sind zwei kleine Sprachmodelle von Microsoft Research. Sie kamen im Februar 2025 zur Familie Phi, als leichtere Begleiter des 14B großen Phi-4. Mini ist der Textantrieb mit 3.8B Parametern. Multimodal nutzt dieselbe Basis und ergänzt Sehen und Sprache, womit es auf 5.6B kommt.
Microsoft hat beide für Geräte gebaut, nicht für Rechenzentren. Jedes passt auf ein speicherknappes Handy, einen Laptop oder ins Auto, und beide antworten mit geringer Verzögerung. Genau darum geht es in der Familie. Sie bekommen ein brauchbares multimodales KI-Modell, ohne eine GPU in der Cloud zu mieten.
Die Grenzen sind ehrlich. Als kleine Modelle speichern sie weniger Faktenwissen als ein großes. Mini liest keine Bilder. Multimodal verarbeitet Text, Bilder und Audio, kombiniert aber nicht alle drei in einem Prompt. Beide erscheinen unter der MIT-Lizenz, sind also ein Open-Source-SLM, das Sie anpassen und kommerziell einsetzen dürfen.
Erste Schritte
- Laden Sie die Gewichte von Hugging Face oder Azure AI Foundry, oder nehmen Sie die ONNX-Version, wenn Sie Edge-Hardware ansteuern. Die Phi-4 API steht ebenfalls bereit, wenn Sie lieber einen gehosteten Endpunkt aufrufen.
- Laden Sie das Modell mit der transformers-Bibliothek, oder rufen Sie es über Azure AI Foundry, GitHub oder den NVIDIA-API-Katalog auf.
- Senden Sie einen Chat-Prompt. Mini nimmt Text. Multimodal akzeptiert zusätzlich Bilder und Audio für Aufgaben wie OCR oder Transkription.
- Passen Sie das Modell mit Ihren Daten über die Rezepte des Phi Cookbook an und setzen Sie es dann auf dem Gerät oder aus der Cloud ein.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Phi-4-multimodal and Phi-4-mini.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- App-Entwickler
- Forschende
- Entwickler für Sprache und Bild
Aufgaben
- Sprache transkribieren und übersetzen
- Dokumente und Diagramme lesen
- Mathe- und Logikaufgaben
- Funktions- und Tool-Aufrufe
Szenarien
- Einen Offline-Assistenten bauen
- Günstig prototypen
- Edge- und IoT-Projekte
Wichtigste Funktionen
Text, Sehen und Audio in einem Modell
Phi-4-multimodal verarbeitet Text, Bilder und Audio über ein einziges Netz, statt ein Transkriptionsmodell an ein Bildmodell zu ketten. So bleibt ein Baustein zum Laden und ein Ablauf zum Pflegen. Der Gewinn zeigt sich bei Aufgaben, in denen sich die Eingaben überschneiden, etwa ein Diagramm lesen und zugleich eine gesprochene Frage hören.
Mixture-of-LoRAs-Architektur
Microsoft lässt das Basismodell eingefroren und hängt LoRA-Adapter je Modalität an, mit einem Router, der den richtigen wählt. Erst das erlaubt dem Modell, Sprache und Sehen zu ergänzen, ohne seine Textfähigkeiten zu beschädigen. Für Entwickler heißt das: Die Basis bleibt intakt, und jede Modalität wird getrennt trainiert.
Kontextfenster von 128K Token
Beide Modelle nehmen bis zu 128K Token auf, genug für lange Dokumente oder ausgedehnte Gespräche. Grouped-Query-Attention senkt die Speicherkosten dieses langen Kontexts, was zählt, wenn das Modell auf einem Gerät mit wenig RAM läuft.
Starke Spracherkennung und Übersetzung
Multimodal erreichte laut Microsoft mit 6,14 % Wortfehlerrate die Spitze der OpenASR-Bestenliste von Hugging Face. Es war das erste offene Modell, das Sprache zusammenfassen kann, und Microsoft nennt die Leistung dort nahe an GPT-4o.
Eingebaute Funktionsaufrufe
Beide Modelle unterstützen Funktions- und Tool-Aufrufe ohne Zusatzkonfiguration, können also externe APIs auslösen und in einem Workflow als Agenten agieren. Minis Befehlsfolge wurde genau dafür abgestimmt, was es für Automatisierung praktisch macht.
Vokabular von 200.000 Token und Mehrsprachigkeit
Das Vokabular wächst auf 200K Token, gegenüber Phi-3.5, und schärft damit den Umgang mit mehreren Sprachen. Text reicht über 20 Sprachen, Audio deckt acht ab, und Sehen läuft auf Englisch.
Vor- und Nachteile
Vorteile
- Lädt und läuft kostenlos unter der MIT-Lizenz, ohne API-Gebühren bei eigener Bereitstellung.
- Klein genug für Handys, Laptops und Edge-Hardware, die Funktionen arbeiten also offline und bleiben auf dem Gerät.
- Multimodal übernimmt Spracherkennung, Übersetzung, OCR und Bilddenken in einem einzigen Modell.
- Mini erreicht laut Microsoft bei Mathe- und Code-Tests viel größere Modelle.
- Die offenen Gewichte und technischen Berichte lassen Forschende alles prüfen und anpassen.
Nachteile
- Die kleine Größe bedeutet wenig Faktenwissen, Antworten zu Nischenthemen können also ohne Such- oder RAG-Schicht falsch sein.
- Multimodal nimmt Text, Audio und Bilder nicht im selben Prompt, einige kombinierte Abläufe brauchen also Umwege.
- Sehen funktioniert nur auf Englisch, was es für Bildaufgaben in anderen Sprachen einschränkt.
- Der Cloud-Preis hängt vom Azure-AI-Foundry-Plan ab, die Kosten schwanken also nach Region und Nutzungsstufe.
Häufige Fragen
Nicht immer. Die Modelle sind klein genug für CPU und Edge-Hardware, und Microsoft veröffentlicht dafür ONNX-Versionen. Eine GPU beschleunigt die Sache, vor allem beim multimodalen Modell und bei langem Kontext, nötig ist sie aber nicht.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Phi-4-multimodal and Phi-4-mini.
Alternativen zu Phi-4-multimodal and Phi-4-mini
Udon
Udon · Coding · ProduktivitätUdon macht aus einem Apple-Silicon-Mac einen Heimserver, den Sie im Browser steuern, mit Containern, Dateifreigaben und einem optionalen KI-Systemadministrator.
offstage
offstage cloud · Coding · Produktivitätoffstage gibt KI-Agenten und CI-Jobs einen echten Mac: ein frisches macOS-27-Konto auf Apple Silicon, per API gesteuert und sekundengenau abgerechnet.
BotBus
Chengdu Tuyang Tusen Technology Co., Ltd. · Coding · ProduktivitätMit BotBus lassen sich KI-Agenten vom Smartphone steuern, auch wenn der Rechner im Büro steht: Befehle freigeben, Aufgaben starten, Ergebnisse lesen.