Brilliant Labs
Brilliant Labs Ltd. · Image
ARGPT for Monocle est l'application qui relie les lunettes AR Monocle de Brilliant Labs à ChatGPT et Whisper : vous touchez, vous parlez et lisez la réponse dans votre champ de vision.
À propos de Brilliant Labs
What Is ARGPT for Monocle
ARGPT for Monocle est l'application mobile qui connecte les lunettes connectées Monocle de Brilliant Labs à ChatGPT et Whisper. Vous touchez le côté de la Monocle, posez une question à voix haute, et la réponse s'affiche sur le petit écran fixé à la monture. L'application fonctionne aussi seule comme une fenêtre de chat classique si vous n'avez pas les lunettes sur vous.
La société a ensuite rebaptisé l'application Noa de Brilliant, et les deux noms désignent la même chose : les dépôts GitHub portent toujours les titres noa-for-ios et noa-for-android, tandis que la fiche du store garde le nom d'origine argpt. Le projet vient de l'habitude qu'a Brilliant Labs de publier du matériel ouvert, et le code des deux applications est publié sous licence BSD 3-Clause, si bien que vous pouvez voir exactement comment fonctionne la connexion à la Monocle.
Une limite façonne toute l'expérience. ARGPT n'embarque aucune IA. Vous fournissez votre propre clé d'API OpenAI, l'application relaie votre voix et vos questions vers OpenAI, et OpenAI vous facture directement. Cela garde l'application gratuite et ouverte, mais cela veut aussi dire que l'assistant vaut ce que vaut le modèle que vous payez et la connexion dont vous disposez.
Getting Started
- Installez l'application sur iOS ou Android. La fiche de l'App Store porte le nom argpt, et Google Play utilise le paquet xyz.brilliant.argpt.
- Obtenez une clé d'API OpenAI sur la plateforme OpenAI. Il vous faut un compte avec la facturation configurée, et Brilliant Labs suggère des limites d'usage basses, comme un plafond souple de 5 dollars et un plafond strict de 10 pour un usage occasionnel.
- Ouvrez l'application et allumez la Monocle. Dès que vous la sortez de son étui, elle se réveille et se signale en Bluetooth. L'application s'appaire à l'appareil le plus proche.
- Laissez l'application terminer sa première configuration. Elle envoie les scripts Python dont la Monocle a besoin, vérifie les versions du firmware et du FPGA, et les met à jour si elles sont en retard.
- Touchez pour parler ou tapez. Dites une question via la Monocle, ou tapez-la dans la fenêtre de chat, et la réponse apparaît sur l'écran et dans l'application.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Brilliant Labs.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Bricoleurs et adeptes précoces qui possèdent une Monocle
- Ceux qui veulent un assistant IA mains libres en déplacement
- Passionnés en quête d'un assistant IA pour lunettes connectées
- Développeurs qui veulent une référence fonctionnelle
Tâches
- Poser des questions rapides sans les mains
- Traduire la parole en anglais
- Transformer des notes en messages écrits
- Mettre à jour le firmware et les scripts
Cas d'usage
- Cuisiner en suivant une recette
- Voyager dans un pays dont vous ne parlez pas la langue
- Faire du vélo ou une randonnée les mains occupées
- Vous arrêter dans un musée ou une galerie
Fonctionnalités clés
Parler et lire dans votre champ de vision
La boucle centrale est simple et c'est la raison d'être de l'application. Vous touchez la Monocle, posez une question à voix haute, et la réponse apparaît sur l'écran devant votre œil. L'audio part des lunettes vers votre téléphone, où Whisper le transcrit et où ChatGPT rédige la réponse, puis le téléphone renvoie le texte pour l'afficher. Cela transforme un appareil que vous portez en assistant IA mains libres auquel poser une question et dont recevoir une réponse.
Modes de chat vocal et textuel
ARGPT fonctionne de deux façons. Via la Monocle, votre voix est l'entrée et l'écran la sortie. Ouvrez l'application seule, et elle se comporte comme un client ChatGPT ordinaire, où vous tapez avec le clavier du téléphone et lisez la conversation à l'écran. Ce second mode compte quand les lunettes se rechargent ou que vous les avez simplement laissées à la maison.
Traduction Whisper vers l'anglais
Activez la traduction dans les réglages et l'application passe d'assistant à traducteur. Dites quelque chose dans une autre langue, et Whisper le traduit en anglais sans confier la tâche à ChatGPT. Elle couvre toutes les langues que Whisper prend en charge, ce qui rend les lunettes utiles en voyage et pour lire des panneaux et des menus que vous ne déchiffrez pas. Le prix à payer, c'est le sens : la traduction arrive en anglais, pas en retour dans l'autre langue.
Mises à jour automatiques du firmware et des scripts
Avant de pouvoir lui parler, la Monocle a besoin du bon firmware MicroPython, de la bonne image FPGA et des bons scripts Python, et ARGPT les charge pour vous. À chaque connexion des lunettes, l'application vérifie la version du firmware, puis celle du FPGA, puis les scripts, et met à jour ce qui est dépassé. Ce qui serait une corvée manuelle se règle dans le cadre de l'appairage.
Utiliser sa propre clé OpenAI
L'application n'a pas d'abonnement parce qu'elle n'a pas de modèle propre. Vous collez une clé d'API OpenAI, et l'application envoie vos requêtes à OpenAI avec votre compte et votre facturation. Un menu de réglages vous laisse choisir le modèle GPT à utiliser, si bien que vous arbitrez vitesse et capacité comme vous l'entendez. Brilliant Labs recommande de petits plafonds de dépense pour qu'un usage occasionnel ne fasse pas grimper la facture.
Open source sur iOS et Android
Les applications iOS et Android sont publiées sur GitHub sous licence BSD 3-Clause. Celle pour iOS est un projet SwiftUI et celle pour Android est native, et les dépôts détaillent le protocole Bluetooth que parle la Monocle. Si vous voulez construire votre propre application AR plutôt qu'utiliser celle fournie, ce sont des points de départ, pas des boîtes noires.
Avantages et inconvénients
Avantages
- Place ChatGPT dans le champ de vision de la Monocle, si bien que les réponses arrivent mains libres au lieu d'apparaître sur un écran à tenir.
- La traduction Whisper couvre de nombreuses langues parlées vers l'anglais, la fonction qui rend les lunettes vraiment utiles à l'étranger.
- Les applications iOS et Android sont open source, si bien que la liaison Bluetooth et la logique de l'application sont lisibles et forkables.
- L'application elle-même ne coûte rien, et Brilliant Labs l'a maintenue bien après le lancement d'origine de la Monocle.
Inconvénients
- Vous devez fournir votre propre clé d'API OpenAI et payer OpenAI pour l'usage, si bien qu'« application gratuite » ne veut pas dire IA gratuite.
- Elle ne fonctionne pleinement qu'avec le matériel Monocle. Sans les lunettes, il vous reste un client ChatGPT basique que vous trouveriez ailleurs.
- La traduction ne va que dans un sens, vers l'anglais, donc elle n'aidera pas un anglophone à se faire comprendre dans une autre langue.
- L'audio en 8 bits à 8 kHz que la Monocle envoie allège la transmission mais perd en dynamique et capte le bruit de fond, ce qui se voit sur la précision de la transcription.
Questions fréquentes
ARGPT for Monocle est une application compagnon de Brilliant Labs qui relie ses lunettes AR Monocle à ChatGPT et Whisper. Vous touchez les lunettes, vous parlez, et vous lisez la réponse de ChatGPT sur l'écran dans votre champ de vision. Elle est aujourd'hui commercialisée sous le nom Noa de Brilliant, même si la fiche du store utilise encore le nom argpt.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Brilliant Labs.
Alternatives à Brilliant Labs
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
Tractionwave
TractionWave · Image · MarketingTractionWave produit une carte de chaleur d'attention par IA pour les annonces statiques. Vous déposez un PNG ou un JPG, et vous obtenez l'attention prévue, des points chauds classés et des corrections avant de dépenser.
Imejis.io
Imejis.io · Image · MarketingImejis.io est un studio de design IA pour les agents et les équipes marketing. Vous décrivez une image avec vos mots, l'outil écrit le texte, construit la mise en page, l'adapte à chaque format et exporte le fichier final.