Phi-4-multimodal and Phi-4-mini
Microsoft · Programmation
Phi-4-multimodal et Phi-4-mini sont les petits modèles ouverts de Microsoft : l'un lit texte, audio et images à la fois, l'autre raisonne sur du texte avec 3.8B de paramètres.
À propos de Phi-4-multimodal and Phi-4-mini
About
Qu'est-ce que Phi-4-multimodal et Phi-4-mini
Phi-4-multimodal et Phi-4-mini sont deux petits modèles de langage de Microsoft Research. Ils ont rejoint la famille Phi en février 2025 comme compagnons plus légers du Phi-4 de 14B. Mini est le moteur de texte, avec 3.8B de paramètres. Multimodal reprend cette base et y ajoute la vision et la parole, ce qui le porte à 5.6B.
Microsoft les a conçus pour les appareils, pas pour les centres de données. Chacun tient dans un téléphone à mémoire limitée, un ordinateur portable ou une voiture, et répond avec une faible latence. C'est tout l'intérêt de la famille. Vous obtenez un modèle d'IA multimodal utile, ainsi que de l'IA embarquée, sans louer un GPU dans le cloud.
Les limites sont claires. Comme ce sont de petits modèles, ils stockent moins de connaissances factuelles qu'un grand. Mini ne lit pas les images. Multimodal traite texte, images et audio, mais ne combine pas les trois dans un même prompt. Les deux sortent sous licence MIT : ce sont des SLM open source que vous pouvez ajuster et publier à des fins commerciales.
Pour commencer
- Récupérez les poids sur Hugging Face ou Azure AI Foundry, ou prenez la version ONNX si vous visez du matériel en périphérie. L'API Phi-4 est aussi disponible si vous préférez appeler un point d'accès hébergé.
- Chargez le modèle avec la bibliothèque transformers, ou appelez-le via Azure AI Foundry, GitHub ou le catalogue d'API NVIDIA.
- Envoyez un prompt de chat. Mini accepte le texte. Multimodal prend aussi les images et l'audio pour des tâches comme l'OCR ou la transcription.
- Ajustez le modèle sur vos données avec les recettes du Phi Cookbook, puis déployez-le sur l'appareil ou servez-le depuis le cloud.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Phi-4-multimodal and Phi-4-mini.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Développeurs d'applications
- Chercheurs
- Créateurs de voix et de vision
Tâches
- Transcrire et traduire la parole
- Lire des documents et des graphiques
- Problèmes de maths et de logique
- Appels de fonctions et d'outils
Cas d'usage
- Monter un assistant hors ligne
- Prototyper à petit prix
- Projets en périphérie et IoT
Fonctionnalités clés
Texte, vision et audio dans un seul modèle
Phi-4-multimodal traite texte, images et audio via un seul réseau, au lieu d'enchaîner un modèle de transcription à un modèle de vision. Résultat : un seul composant à charger et un seul flux à maintenir. Le gain apparaît dans les tâches où les entrées se croisent, comme lire un graphique tout en écoutant une question parlée.
Architecture Mixture-of-LoRAs
Microsoft garde le modèle de base figé et y greffe des adaptateurs LoRA par modalité, avec un routeur qui choisit le bon. C'est ce qui permet au modèle d'ajouter la parole et la vision sans abîmer ses compétences en texte. Pour qui construit, la base reste intacte et chaque modalité s'entraîne séparément.
Fenêtre de contexte de 128K tokens
Les deux modèles acceptent jusqu'à 128K tokens, de quoi gérer de longs documents ou des conversations étendues. L'attention à requêtes groupées réduit le coût mémoire de ce contexte long, ce qui compte quand le modèle tourne sur un appareil à RAM limitée.
Reconnaissance et traduction vocales solides
Multimodal a atteint le sommet du classement OpenASR de Hugging Face avec un taux d'erreur de mot de 6,14 %, selon Microsoft. C'était le premier modèle ouvert capable de résumer la parole, et Microsoft indique que sa performance y est proche de GPT-4o.
Appel de fonctions intégré
Les deux modèles prennent en charge l'appel de fonctions et d'outils sans configuration supplémentaire, donc ils peuvent déclencher des API externes et agir comme des agents dans un flux de travail. Le suivi d'instructions de Mini a été réglé pour ça, ce qui le rend pratique pour l'automatisation.
Vocabulaire de 200 000 tokens et support multilingue
Le vocabulaire passe à 200K tokens, contre Phi-3.5, ce qui affine la gestion de plusieurs langues. Le texte couvre plus de 20 langues, l'audio en couvre huit et la vision fonctionne en anglais.
Avantages et inconvénients
Avantages
- Se télécharge et tourne gratuitement sous licence MIT, sans frais d'API si vous hébergez vous-même.
- Assez petit pour téléphones, portables et matériel en périphérie, donc les fonctions marchent hors ligne et restent sur l'appareil.
- Multimodal gère reconnaissance vocale, traduction, OCR et raisonnement sur images dans un seul modèle.
- Mini égale des modèles bien plus grands sur les tests de maths et de code, selon Microsoft.
- Les poids ouverts et les rapports techniques laissent les chercheurs tout examiner et ajuster.
Inconvénients
- La taille réduite implique peu de connaissances factuelles, donc les réponses sur des sujets pointus peuvent être fausses sans une couche de recherche ou de RAG.
- Multimodal n'accepte pas texte, audio et images dans le même prompt, donc certains flux à entrées combinées demandent des contournements.
- La vision ne fonctionne qu'en anglais, ce qui la limite pour les tâches d'image dans d'autres langues.
- Le prix dans le cloud dépend du plan Azure AI Foundry, donc le coût varie selon la région et le niveau d'usage.
Questions fréquentes
Pas toujours. Les modèles sont assez petits pour tourner sur CPU et matériel en périphérie, et Microsoft publie des versions ONNX pour ça. Un GPU accélère les choses, surtout avec le modèle multimodal et les longs contextes, mais il n'est pas obligatoire.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Phi-4-multimodal and Phi-4-mini.
Alternatives à Phi-4-multimodal and Phi-4-mini
Forefront
Forefront · ProgrammationForefront est une plateforme web pour construire avec de l'IA open source. Elle vous laisse affiner les principaux modèles de langage open source sur vos propres données, évaluer leurs performances et les exécuter via une API ou les exporter pour les héberger vous-même. Les développeurs qui veulent le confort d'une plateforme fermée mais tiennent à rester propriétaires de leurs modèles et de leurs données sont le public visé ici.
Startkit
StartKit.AI · ProgrammationStartkit est un boilerplate pour créer des produits SaaS d'IA et des wrappers d'IA. Voyez-le comme un boilerplate de startup IA avec les parties ennuyeuses déjà branchées : authentification, paiements Stripe et Lemon Squeezy, limites d'usage, e-mail transactionnel et un kit de démarrage d'API IA qui parle à OpenAI, Anthropic, Groq ou Llama. Vous clonez le dépôt, fixez votre prix et attaquez la partie du produit pour laquelle les gens paient vraiment. Il repose sur Next.js au-dessus de React et Tailwind, donc une bonne partie du code boilerplate vous semble déjà familière.
Testim
Tricentis · ProgrammationTestim est une plateforme d'automatisation des tests dopée à l'IA, qui sert à créer et exécuter des tests de bout en bout sur des applications web, mobiles et Salesforce. Elle s'appuie sur l'apprentissage automatique pour garder les tests stables quand une interface change, alors les équipes passent moins de temps à réparer des sélecteurs cassés. Pas mal pour un outil de tests automatisés que vous pouvez utiliser dès aujourd'hui. Vous créez des tests en enregistrant des actions dans un navigateur, puis vous ajoutez du JavaScript quand vous avez besoin de plus de contrôle. C'est un choix solide pour une équipe QA bien occupée.