Molmo
Allen Institute for AI (Ai2) · Image
Molmo est un modèle d'IA multimodal open source d'Ai2 qui comprend les images, pointe les objets et alimente les agents web et les robots.
À propos de Molmo
Qu'est-ce que Molmo
Molmo est une famille de modèles vision-langage créée par l'Allen Institute for AI (Ai2). Contrairement aux modèles purement textuels, il reçoit une image et une question ensemble, puis répond en langage naturel. Il peut aussi pointer l'endroit exact dont il parle, ce que la plupart des modèles ne savent pas faire.
Trois tailles sortent sous le nom Molmo : 1B, 7B et 72B. Le petit tourne sur un ordinateur portable. La version 72B rivalise avec des systèmes fermés comme GPT-4V et Gemini 1.5 sur plusieurs tests comparatifs. Selon Ai2, cet écart existe parce que Molmo a été entraîné sur un ensemble sélectionné d'environ 600 000 images, pas sur des milliards. La qualité plutôt que le volume.
Voilà le hic. Molmo est un modèle, pas une application. Vous ne trouverez pas de belle interface de chat sur un site. Le faire tourner suppose de télécharger les poids et de les intégrer à votre propre code. Pour les développeurs, c'est très bien. Pour tous les autres, c'est un mur.
Les poids, les données d'entraînement et le code source sont publics, donc vous pouvez examiner son fonctionnement et construire dessus sans payer de licence.
Pour commencer
- Créez un compte gratuit sur Hugging Face, où Ai2 héberge les poids de Molmo et les fiches du jeu de données.
- Choisissez une taille. Prenez le modèle 1B pour tester sur votre propre machine, ou les versions 7B et 72B si vous avez le matériel ou un GPU dans le cloud.
- Chargez le modèle avec une boîte à outils comme Transformers, puis passez-lui une image et une consigne écrite.
- Demandez-lui de décrire, de compter ou de pointer quelque chose dans l'image, et lisez la réponse.
- Portez le résultat dans votre propre agent web, robot ou flux de travail.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Molmo.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Développeurs qui créent des fonctions de vision par ordinateur
- Chercheurs qui étudient les modèles multimodaux
- Amateurs avec un bon GPU
Tâches
- Pointer des objets précis sur une photo
- Lire des graphiques, des menus et des tableaux blancs
- Piloter des agents web
Cas d'usage
- Automatiser une tâche d'écran répétitive
- Trier ou étiqueter une photothèque
- Choisir un modèle de base pour un prototype
Fonctionnalités clés
Une compréhension d'images qui pointe
La plupart des modèles répondent aux questions sur une image avec des mots. Molmo va plus loin et place un marqueur sur l'objet exact que vous désignez, qu'il s'agisse d'une personne dans une foule ou d'un bouton sur un écran de menu. Ce pointage marche sans entraînement spécifique, un tour de passe-passe sans exemple qui ouvre des tâches comme le comptage et la navigation d'interface.
Trois tailles pour différents matériels
La gamme couvre 1B, 7B et 72B paramètres, donc vous choisissez selon votre machine, pas l'inverse. Le modèle 1B est assez léger pour un appareil personnel, tandis que la version 72B vise les équipes dotées d'une vraie capacité GPU. La même famille, des encombrements très différents.
Entraîné sur un jeu de données petit et sélectionné
Ai2 a utilisé environ 600 000 images annotées par des humains au lieu des milliards sur lesquels s'appuient d'autres laboratoires. Les descriptions ont été rédigées par des personnes, pas aspirées du web, ce qui rend le modèle conversationnel et précis. Cela signifie aussi un entraînement moins coûteux, et cette efficacité se voit dans la rapidité de réponse des petits modèles.
Open source de bout en bout
Les poids, le code et le jeu de données d'entraînement sont tous rendus publics. Vous pouvez exécuter Molmo, l'étudier, l'affiner et le distribuer dans des produits commerciaux sans payer de licence. Pour les chercheurs, cette transparence est tout l'intérêt.
Conçu pour les agents et les robots
La capacité de Molmo à voir un écran et à agir dessus convient aux agents web qui remplissent des formulaires ou naviguent sur des sites, et aux robots qui doivent interpréter ce que voit une caméra. Il lit la couche visuelle directement, donc vous n'avez pas à décortiquer la structure interne d'une page.
Avantages et inconvénients
Avantages
- Gratuit, sans abonnement ni tarif à l'appel.
- Poids, code et jeu de données ouverts, vous pouvez tout inspecter et modifier.
- La fonction de pointage gère la localisation d'objets et le comptage que les modèles purement textuels ne peuvent pas faire.
- Le modèle 1B tient sur un matériel modeste, donc le tester n'exige pas un centre de données.
- Des performances au niveau de modèles propriétaires bien plus gros sur plusieurs tests comparatifs, selon Ai2.
Inconvénients
- Pas d'API hébergée, donc vous devez exécuter le modèle vous-même ou trouver un hébergeur tiers, ce qui ajoute du travail de configuration.
- Seule la plus petite version est réaliste sur un portable ; le modèle 72B demande beaucoup de mémoire GPU.
- Pas d'application mobile officielle ni d'interface prête à l'emploi, ce qui exclut totalement ceux qui ne codent pas.
Questions fréquentes
Molmo sert aux tâches qui mêlent images et langage : décrire des photos, lire des graphiques, localiser des objets et alimenter des agents web ou des robots qui agissent sur ce qu'ils voient. C'est un modèle de base, donc les développeurs construisent l'outil final par-dessus plutôt que de l'utiliser directement.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Molmo.
Alternatives à Molmo
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
Tractionwave
TractionWave · Image · MarketingTractionWave produit une carte de chaleur d'attention par IA pour les annonces statiques. Vous déposez un PNG ou un JPG, et vous obtenez l'attention prévue, des points chauds classés et des corrections avant de dépenser.
Imejis.io
Imejis.io · Image · MarketingImejis.io est un studio de design IA pour les agents et les équipes marketing. Vous décrivez une image avec vos mots, l'outil écrit le texte, construit la mise en page, l'adapte à chaque format et exporte le fichier final.