MulmoChat
receptron · Sonstiges · Chatbot
MulmoChat ist eine quelloffene multimodale KI-Chat-Oberfläche, die ein Gespräch in etwas verwandelt, das du sehen und anfassen kannst. Statt nur Text auszutauschen, bringt sie Bilder, erkundbare Karten und spielbare Minispiele auf eine Leinwand, während du weiter mit der KI sprichst, und jede Antwort wird so zu einer kleinen Szene, an der du herumstochern kannst, statt zu einer Wand aus Prosa. Entwickelt wurde sie vom Team bei receptron, und sie kommt als Forschungsprototyp für Entwickler und neugierige Nutzer, die ausprobieren wollen, wohin Chat-Oberflächen als Nächstes gehen.
Über MulmoChat
Was ist MulmoChat
MulmoChat ist ein Forschungsprototyp, der eine neue Form für multimodalen KI-Chat erkundet. Klassische Chat-Tools sind textfirst: Du tippst eine Nachricht, du bekommst Text zurück. MulmoChat dreht das um, indem es visuelle und interaktive Inhalte direkt neben dem Gespräch leben lässt, alles auf einer gemeinsamen Leinwand.
Unter der Haube ist es ein Full-Stack-Projekt. Der Client läuft auf Vue 3 und TypeScript mit Vite, und ein kleiner Node-Server übernimmt die Modellaufrufe, was die Browserseite schlank hält und die Anbieterlogik an einer Stelle bündelt, die du prüfen kannst. Es arbeitet mit mehreren Anbietern, darunter OpenAI, Anthropic, Google Gemini und eine lokale Ollama-Instanz, damit du nicht an einen einzigen Anbieter gebunden bist. Wenn du lieber alles auf deiner Maschine behalten willst, kann die Bildgenerierung über eine lokale ComfyUI-Installation mit FLUX-Modellen laufen.
Die größte Einschränkung ist das Setup. Das ist kein gehostetes Produkt, in das du dich einloggst. Du klonst das Repository, installierst Abhängigkeiten und lieferst deine eigenen API-Schlüssel, manchmal mehrere, bevor auch nur ein einziger Prompt läuft. Plane eine Terminal-Sitzung ein, kein Anmeldeformular.
Erste Schritte
- Klone das Repository von GitHub und führe
yarn installaus, um die Abhängigkeiten zu holen. - Erstelle eine
.env-Datei und trage deine API-Schlüssel ein, etwaOPENAI_API_KEYundGEMINI_API_KEY. Schlüssel für Karten, Suche und HTML-Generierung sind optional. - Starte den Entwicklungsserver mit
yarn dev, öffne dann den Browser und erlaube den Zugriff auf das Mikrofon. - Klicke auf Start Voice Chat und fang an zu sprechen. Bitte um ein Bild und sieh zu, wie es auf der Leinwand erscheint.
- Für lokale Bildgenerierung installiere ComfyUI Desktop, lade ein FLUX-Modell herunter und richte
COMFYUI_BASE_URLdarauf aus.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von MulmoChat.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Entwickler
- KI-Produktdesigner
- Bastler, die lokale Modelle betreiben
Aufgaben
- Eine sprachfirst Chat-App prototypen
- Lokale Bildgenerierung testen
- Modellanbieter vergleichen
Szenarien
- Forschungssitzungen, in denen du ein neues Interaktionsmodell antesten willst, bevor du dich festlegst.
- Wochenendexperimente auf deiner eigenen Maschine, wenn es dich nicht stört, zuerst eine Stunde ins Setup zu stecken.
- Demos für ein Team, das diskutiert, ob Chat rein textbasiert bleiben sollte.
Wichtigste Funktionen
Gespräch trifft Leinwand
Hier ist die Kernidee. Die Ausgabe der KI steckt nicht in einer Nachrichtenblase fest. Ein KI-Chat mit Canvas lässt ein Bild mitten im Satz entstehen und eine Karte zu etwas werden, das du verschiebst und zooms. Das verändert, wie sich ein Chat anfühlt, denn die Antwort wird ein Raum, den du erkundest, statt ein Satz, den du liest. Genau dieser Wechsel ist der ganze Sinn des Projekts.
Sprachfirst Interaktion
MulmoChat ist ums Sprechen herum gebaut, nicht ums Tippen. Du erteilst Mikrofonzugriff, klickst auf Start Voice Chat und sprichst ganz natürlich. Die Sprachchat-KI hier ist kein Anhängsel, das an ein Textwerkzeug geschraubt wurde, und das zeigt sich daran, wie die Sitzung beginnt. Gedacht ist das als Hin und Her, das sich eher wie ein Gespräch mit einem Menschen anfühlt als wie ein Textfeld mit Senden-Knopf. Keine Tastatur nötig.
Multi-Provider-Text-API
Ein anbieterunabhängiger Endpunkt versorgt die Textseite. GET /api/text/providers listet auf, was konfiguriert ist, und POST /api/text/generate nimmt einen Prompt samt Parametern wie model, maxTokens, temperature und topP entgegen und gibt eine normalisierte Antwort zurück, egal welcher Anbieter sie verarbeitet hat. Die unterstützte Menge umfasst OpenAI, Anthropic, Google Gemini und Ollama.
Lokale Bildgenerierung über ComfyUI
Wenn Cloud-Bildwerkzeuge nicht dein Ding sind, spricht MulmoChat mit einer lokalen ComfyUI-Desktop-Instanz. Für alle, die einen KI-Chat mit Bildgenerierung suchen, der nie einen entfernten Server berührt, ist das der Weg. Er schickt einen Prompt, einen negativen Prompt und einen Modellnamen und liefert base64-Bilddaten zurück. Die API erkennt FLUX- gegenüber Stable-Diffusion-Modellen automatisch und wählt für jedes sinnvolle Standardwerte, darunter Auflösung, Sampling-Schritte und Sampler. Du kannst jeden davon überschreiben.
Plugin-Architektur
MulmoChat ist zum Wachsen gedacht. Ein eigener Leitfaden für Tool-Plugins führt Entwickler durch den Vertrag, von TypeScript-Schnittstellen über Vue-Views bis zur Konfiguration, sodass eine neue Leinwand-Fähigkeit nicht bedeutet, den Kern der App anzufassen. Genau diese Trennung hält das Projekt erweiterbar.
Open Source unter AGPL-3.0
Das ganze Projekt ist öffentlich und unter AGPL-3.0-only lizenziert. Du kannst jede Zeile lesen, es forken und die Architektur nach deinem Geschmack für eigene Experimente umbauen. Der Preis dafür ist, dass die Lizenz Copyleft-Bedingungen trägt, die du lesen solltest, bevor du etwas Kommerzielles auslieferst.
Vor- und Nachteile
Vorteile
- Das Konzept der multimodalen Leinwand unterscheidet sich wirklich von den reinen Text-Chat-Tools, die die meisten nutzen, also lohnt sich ein Blick, auch wenn du es nie einsetzt.
- Die Anbieterflexibilität über OpenAI, Anthropic, Gemini und Ollama bewahrt dich davor, an einen einzigen Modellanbieter gebunden zu sein.
- Lokale ComfyUI-Bildgenerierung heißt, du kannst ein komplett offline laufendes Setup betreiben, wenn du die Hardware schon hast, eine seltene Option unter Chat-Tools, die ein Cloud-Konto voraussetzen.
- Die Plugin-Architektur und die Dokumentation geben Entwicklern einen echten Ausgangspunkt zum Aufbauen.
- Da es quelloffen ist, kannst du genau nachsehen, wie es mit deinen Prompts und Schlüsseln umgeht.
Nachteile
- Es gibt keine gehostete Version, also bedeutet der Einstieg, ein Repository zu klonen und mehrere API-Schlüssel zu konfigurieren. Das ist eine echte Hürde, wenn du nur eine Chat-App ausprobieren willst.
- Es ist als Forschungsprototyp gekennzeichnet, was heißt, dass raue Kanten und wechselnde APIs zu erwarten statt überraschend sind.
- Die AGPL-3.0-Lizenz kann kommerzielle Nutzung verkomplizieren, prüf also die Bedingungen, wenn du ein Produkt darauf aufbauen willst.
Häufige Fragen
Ja. Der Code ist quelloffen unter AGPL-3.0-only, und es gibt kein Abo. Deine tatsächlichen Kosten kommen von den Modellanbietern, die du verbindest, denn diese API-Rechnungen zahlst du direkt.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu MulmoChat.
Alternativen zu MulmoChat
BinkBink
BinkBink · SonstigesBinkBink ist eine kostenlose Online-Spielplattform und ein KI-Spielmacher, mit dem jeder eine kurze Textbeschreibung in ein spielbares Browser-Spiel verwandeln kann. Sie springen in Hunderte von der Community erstellte Spiele. Oder Sie beschreiben Ihre eigene Idee, spielen sie in Sekunden und teilen sie dann mit Freunden. Sie wollen Ihr eigenes Spiel erstellen? Sie müssen nicht programmieren. Kein Einrichten einer Engine, kein Download, kein Aufwand.
Audiogen
Audiogen Inc. · SonstigesAudiogen ist ein KI-Musikgenerator des Unternehmens Audiogen Inc., eines kleinen Forschungsteams, das rund 2,5 Jahre damit verbrachte, ein eigenes generatives Musikmodell zu trainieren und eine Web-Oberfläche darum herum zu entwerfen. Statt eines einfachen Textfelds verwandelt dieses KI-Musik-Tool die Zeitleiste in eine anfängerfreundliche Generative Audio Workstation, kurz GAW, in der Inpainting, Verlängern, Remixen und Stem-Bearbeitung eher wie Malen auf einer Leinwand funktionieren. Das Produkt ist noch in der Beta, der Zugang läuft also über eine Warteliste oder eine Einladung. Bezahlpläne sind noch nicht veröffentlicht.
Aiml API
AIMLAPI OÜ · SonstigesAiml API ist eine einheitliche KI-Modell-API, die über 1000 Modelle von OpenAI, Google, Anthropic und anderen hinter einem einzigen Endpunkt und einer einzigen Rechnung bündelt. Sie schreiben Code gegen ein einziges OpenAI-kompatibles Schema und wechseln dann zwischen Chat-, Bild-, Video- und Audiomodellen, indem Sie eine Modellzeichenfolge ändern. Sie passt zu Entwicklern und kleinen Teams, die multimodalen Zugriff wollen, ohne ein Dutzend getrennte Anbieterkonten zu verwalten, und sie beseitigt den üblichen Rechnungsstress beim Testen mehrerer Anbieter. Ein Schlüssel deckt alles ab.