Brilliant Labs
Brilliant Labs Ltd. · Bilder
ARGPT for Monocle ist die App, die die AR-Brille Monocle von Brilliant Labs mit ChatGPT und Whisper verbindet: Sie tippen, sprechen und lesen die Antwort im Sichtfeld.
Über Brilliant Labs
What Is ARGPT for Monocle
ARGPT for Monocle ist die mobile App, die die smarte Brille Monocle von Brilliant Labs mit ChatGPT und Whisper verbindet. Sie tippen an die Seite der Monocle, stellen eine Frage laut, und die Antwort erscheint auf dem kleinen Display am Brillenrahmen. Ohne die Brille läuft die App auch allein als gewöhnliches Chat-Fenster.
Das Unternehmen hat die App später in Noa von Brilliant umbenannt, und beide Namen meinen dasselbe: Die GitHub-Repositories heißen weiterhin noa-for-ios und noa-for-android, während der Store-Eintrag den ursprünglichen Namen argpt behält. Das Projekt kommt aus der Gewohnheit von Brilliant Labs, offene Hardware zu veröffentlichen, und der Quellcode beider Apps steht unter der BSD-3-Clause-Lizenz, sodass Sie genau nachlesen können, wie die Verbindung zur Monocle funktioniert.
Eine Grenze prägt das ganze Erlebnis. ARGPT bringt keine eigene KI mit. Sie hinterlegen Ihren eigenen OpenAI-API-Schlüssel, die App leitet Ihre Stimme und Ihre Fragen an OpenAI weiter, und OpenAI rechnet direkt mit Ihnen ab. Das hält die App kostenlos und offen, heißt aber auch, dass der Assistent nur so gut ist wie das Modell, das Sie bezahlen, und die Verbindung, die Sie haben.
Getting Started
- Installieren Sie die App auf iOS oder Android. Der App-Store-Eintrag trägt den Namen argpt, und Google Play nutzt das Paket xyz.brilliant.argpt.
- Holen Sie sich einen OpenAI-API-Schlüssel auf der OpenAI-Plattform. Sie brauchen ein Konto mit eingerichteter Abrechnung, und Brilliant Labs empfiehlt niedrige Nutzungsgrenzen, etwa ein weiches Limit von 5 Dollar und ein hartes Limit von 10 für gelegentliche Nutzung.
- Öffnen Sie die App und schalten Sie die Monocle ein. Sobald Sie sie aus dem Etui nehmen, wacht sie auf und meldet sich per Bluetooth. Die App koppelt sich mit dem nächstgelegenen Gerät.
- Lassen Sie die App die Ersteinrichtung abschließen. Sie überträgt die Python-Skripte, die die Monocle braucht, prüft die Firmware- und FPGA-Versionen und aktualisiert sie, falls sie zurückliegen.
- Tippen Sie zum Sprechen oder tippen Sie Text. Sagen Sie eine Frage über die Monocle oder schreiben Sie sie ins Chat-Fenster, und die Antwort erscheint auf dem Display und in der App.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Brilliant Labs.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Tüftler und Early Adopters, die eine Monocle besitzen
- Menschen, die einen freihändigen KI-Assistenten unterwegs wollen
- Enthusiasten, die einen KI-Assistenten für smarte Brillen suchen
- Entwickler, die eine funktionierende Referenz wollen
Aufgaben
- Schnelle Fragen freihändig stellen
- Gesprochenes ins Englische übersetzen
- Lose Notizen in Textnachrichten verwandeln
- Firmware und Skripte aktuell halten
Szenarien
- Kochen nach einem Rezept
- Reisen in ein Land, dessen Sprache Sie nicht sprechen
- Radfahren oder Wandern mit vollen Händen
- Im Museum oder in einer Galerie stehen
Wichtigste Funktionen
Sprechen und lesen im Sichtfeld
Die Kernschleife ist einfach und der Grund, warum es die App gibt. Sie tippen an die Monocle, stellen eine Frage laut, und die Antwort erscheint auf dem Display vor Ihrem Auge. Der Ton läuft von der Brille aufs Handy, wo Whisper ihn transkribiert und ChatGPT die Antwort schreibt, und das Telefon schickt den Text zur Anzeige zurück. So wird ein Gerät, das Sie tragen, zu einem freihändigen KI-Assistenten, dem Sie eine Frage stellen und von dem Sie eine Antwort erhalten.
Chat per Stimme und Text
ARGPT funktioniert auf zwei Wegen. Über die Monocle ist Ihre Stimme die Eingabe und das Display die Ausgabe. Öffnen Sie die App allein, verhält sie sich wie ein gewöhnlicher ChatGPT-Client, in dem Sie mit der Tastatur des Handys schreiben und das Gespräch auf dem Bildschirm lesen. Dieser zweite Modus zählt, wenn die Brille lädt oder Sie sie einfach zu Hause gelassen haben.
Whisper-Übersetzung ins Englische
Schalten Sie die Übersetzung in den Einstellungen ein, und die App wechselt vom Assistenten zum Übersetzer. Sagen Sie etwas in einer anderen Sprache, und Whisper übersetzt es ins Englische, ohne die Aufgabe an ChatGPT zu übergeben. Abgedeckt ist jede Sprache, die Whisper unterstützt, was die Brille auf Reisen und beim Lesen von Schildern und Speisekarten nützlich macht. Der Preis ist die Richtung: Die Übersetzung landet im Englischen, nicht zurück in der anderen Sprache.
Automatische Firmware- und Skript-Updates
Bevor Sie mit ihr sprechen können, braucht die Monocle die richtige MicroPython-Firmware, das FPGA-Image und die richtigen Python-Skripte, und ARGPT lädt sie für Sie. Bei jeder Verbindung prüft die App erst die Firmware-Version, dann die FPGA-Version, dann die Skripte, und aktualisiert, was veraltet ist. Was sonst eine fummelige Handarbeit wäre, erledigt sich als Teil des Koppelns.
Eigener OpenAI-Schlüssel
Die App hat kein Abo, weil sie kein eigenes Modell hat. Sie fügen einen OpenAI-API-Schlüssel ein, und die App schickt Ihre Anfragen mit Ihrem Konto und Ihrer Abrechnung an OpenAI. Ein Einstellungsmenü lässt Sie wählen, welches GPT-Modell Sie nutzen, sodass Sie Geschwindigkeit gegen Leistung nach eigenem Ermessen tauschen. Brilliant Labs empfiehlt kleine Ausgabenlimits, damit eine gelegentliche Nutzung die Rechnung nicht hochtreibt.
Open Source auf iOS und Android
Die iOS- und die Android-App sind auf GitHub unter der BSD-3-Clause-Lizenz veröffentlicht. Die iOS-App ist ein SwiftUI-Projekt und die Android-App ist nativ, und die Repositories beschreiben das Bluetooth-Protokoll, das die Monocle spricht. Wenn Sie lieber eine eigene AR-App bauen statt die mitgelieferte zu nutzen, sind das Startpunkte, keine Blackbox.
Vor- und Nachteile
Vorteile
- Bringt ChatGPT ins Sichtfeld der Monocle, sodass Antworten freihändig auftauchen statt auf einem Bildschirm, den Sie halten müssen.
- Die Whisper-Übersetzung deckt viele gesprochene Sprachen ins Englische ab, die Funktion, die die Brille im Ausland wirklich nützlich macht.
- Die iOS- und die Android-App sind Open Source, sodass die Bluetooth-Verbindung und die App-Logik lesbar und forkbar sind.
- Die App selbst kostet nichts, und Brilliant Labs hat sie weit über den ursprünglichen Monocle-Start hinaus am Leben gehalten.
Nachteile
- Sie müssen Ihren eigenen OpenAI-API-Schlüssel bereitstellen und OpenAI für die Nutzung bezahlen, also heißt kostenlose App nicht kostenlose KI.
- Sie funktioniert nur vollständig mit der Monocle-Hardware. Ohne die Brille bleibt ein einfacher ChatGPT-Client, den Sie auch anderswo bekommen.
- Die Übersetzung läuft nur in eine Richtung, ins Englische, daher hilft sie einer englischsprachigen Person nicht, sich in einer anderen Sprache verständlich zu machen.
- Der 8-Bit-Ton mit 8 kHz, den die Monocle sendet, hält die Übertragung leicht, verliert aber Dynamik und fängt Hintergrundgeräusche ein, was sich in der Transkriptionsgenauigkeit zeigt.
Häufige Fragen
ARGPT for Monocle ist eine Begleit-App von Brilliant Labs, die die AR-Brille Monocle mit ChatGPT und Whisper verbindet. Sie tippen an die Brille, sprechen, und lesen die Antwort von ChatGPT auf dem Display in Ihrem Sichtfeld. Sie wird heute als Noa von Brilliant vermarktet, auch wenn der Store-Eintrag noch den Namen argpt nutzt.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Brilliant Labs.
Alternativen zu Brilliant Labs
X Ray Interpreter
X-ray Interpreter · BilderX Ray Interpreter ist ein webbasiertes KI-Radiologie-Tool, das Röntgenbilder, CTs, MRTs, Ultraschallbilder und PET-Aufnahmen in Berichte in einfacher Sprache verwandelt. Sie laden eine Aufnahme hoch, erhalten in wenigen Augenblicken eine vorläufige Röntgenbild-Interpretation und stellen dann Rückfragen, wenn etwas erklärt werden muss. Es dient als zweite Meinung und als Lernhilfe, nicht als medizinische Diagnose.
Aieasypic
AIEasyPic · BilderAIEasyPic ist ein KI-Bildgenerator, der einfache Text-Prompts in Sekunden in fertige Kunstwerke verwandelt. Du kannst außerdem eigene Modelle mit persönlichen Fotos trainieren, Gesichter in vorhandenen Bildern tauschen und kurze Videoclips aus Text erstellen, alles im Browser. Er passt zu Gelegenheitskreativen, die schnelle Bilder wollen, und zu Hobbyisten, die ein persönliches Modell bauen möchten, ohne eine Zeile Code anzufassen.
Chargen
Chargen · BilderChargen ist ein KI-Charaktergenerator und ein Toolkit zum Worldbuilding für Dungeons & Dragons und andere Tisch-Rollenspiele. Es verwandelt eine einzeilige Idee in ein gemaltes Charakterporträt, erzeugt NSCs, Monster, Karten und Begegnungen in derselben Sitzung und hält die Details jeder Kreatur griffbereit. Der Bereich für Tisch-Rollenspiel-Kunst läuft über ein Creditsystem namens Gold, während die Textgeneratoren für alle kostenlos bleiben.