MulmoChat
receptron · Otro · Chatbot
MulmoChat es una interfaz de chat con IA multimodal de código abierto que convierte una conversación en algo que puedes ver y tocar. En lugar de intercambiar solo texto, coloca imágenes, mapas explorables y minijuegos jugables sobre un lienzo mientras sigues hablando con la IA, y así cada respuesta se siente como una pequeña escena que puedes toquetear en vez de un muro de prosa. Lo desarrolló el equipo de receptron y llega como prototipo de investigación pensado para desarrolladores y usuarios curiosos que quieren probar hacia dónde van las interfaces de chat.
Acerca de MulmoChat
Qué es MulmoChat
MulmoChat es un prototipo de investigación que explora una nueva forma de chat de IA multimodal. Las herramientas de chat tradicionales son texto primero: escribes un mensaje y recibes texto de vuelta. MulmoChat le da la vuelta a eso al dejar que el contenido visual e interactivo viva junto a la conversación, todo sobre un lienzo compartido.
Por dentro, es un proyecto full-stack. El cliente corre sobre Vue 3 y TypeScript con Vite, y un pequeño servidor Node gestiona las llamadas a los modelos, lo que mantiene el lado del navegador ligero y la lógica de proveedores en un solo lugar que puedes auditar. Funciona con varios proveedores, entre ellos OpenAI, Anthropic, Google Gemini y una instancia local de Ollama, así que no te atas a un solo fabricante. Si prefieres tenerlo todo en tu máquina, la generación de imágenes puede correr a través de un ComfyUI local con modelos FLUX.
La mayor limitación es la puesta en marcha. No es un producto alojado en el que inicias sesión. Clonas el repositorio, instalas dependencias y pones tus propias claves de API, a veces varias, antes de que corra un solo prompt. Cuenta con una sesión de terminal, no con un formulario de registro.
Cómo empezar
- Clona el repositorio desde GitHub y ejecuta
yarn installpara bajar las dependencias. - Crea un archivo
.envy añade tus claves de API, comoOPENAI_API_KEYyGEMINI_API_KEY. Las claves para mapas, búsqueda y generación de HTML son opcionales. - Arranca el servidor de desarrollo con
yarn dev, luego abre el navegador y permite el acceso al micrófono. - Pulsa Start Voice Chat y empieza a hablar. Pide una imagen y mírala aparecer en el lienzo.
- Para generar imágenes en local, instala ComfyUI Desktop, descarga un modelo FLUX y apunta
COMFYUI_BASE_URLhacia él.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de MulmoChat.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Desarrolladores
- Diseñadores de productos de IA
- Manitas que corren modelos locales
Tareas
- Prototipar una app de chat con la voz primero
- Probar generación de imágenes local
- Comparar proveedores de modelos
Casos de uso
- Sesiones de investigación donde quieres hurgar en un nuevo modelo de interacción antes de comprometerte con él.
- Experimentos de fin de semana en tu propia máquina, cuando no te importa gastar una hora en la puesta en marcha primero.
- Demos para un equipo que debate si el chat debería seguir siendo solo texto.
Funciones clave
La conversación se encuentra con el lienzo
Esta es la idea central. La salida de la IA no queda atrapada en una burbuja de mensaje. Un chat de IA con lienzo deja que una imagen aparezca a mitad de frase, y que un mapa se convierta en algo que desplazas y amplías. Cambia cómo se siente un chat, porque la respuesta se vuelve un espacio que exploras en vez de una frase que lees. Ese giro es el sentido entero del proyecto.
Interacción con la voz primero
MulmoChat está construido alrededor de hablar, no de teclear. Concedes acceso al micrófono, pulsas Start Voice Chat y hablas con naturalidad. El bucle de chat de IA por voz aquí no es un añadido atornillado a una herramienta de texto, y eso se nota en cómo arranca la sesión. La intención es un ida y vuelta que se sienta más cercano a una conversación con una persona que a un cuadro de texto con un botón de enviar. Sin teclado.
API de texto multiproveedor
Un endpoint agnóstico de proveedor alimenta el lado del texto. GET /api/text/providers lista lo que está configurado, y POST /api/text/generate recibe un prompt junto con parámetros como model, maxTokens, temperature y topP, y luego devuelve una respuesta normalizada sin importar qué fabricante la haya gestionado. El conjunto compatible cubre OpenAI, Anthropic, Google Gemini y Ollama.
Generación de imágenes local vía ComfyUI
Si las herramientas de imagen en la nube no son lo tuyo, MulmoChat habla con una instancia local de ComfyUI Desktop. Para quien busca un chat de IA con generación de imágenes que nunca toque un servidor remoto, este es el camino. Envía un prompt, un prompt negativo y un nombre de modelo, y devuelve datos de imagen en base64. La API detecta automáticamente los modelos FLUX frente a los Stable Diffusion y elige valores por defecto sensatos para cada uno, incluida la resolución, los pasos de muestreo y el sampler. Puedes sobrescribir cualquiera de ellos.
Arquitectura de plugins
MulmoChat está hecho para crecer. Una guía dedicada de plugins de herramientas lleva a los desarrolladores por el contrato, desde las interfaces de TypeScript hasta las vistas de Vue y la configuración, así que añadir una nueva capacidad al lienzo no significa tocar el núcleo de la app. Esa separación es lo que mantiene extensible el proyecto.
Código abierto bajo AGPL-3.0
Todo el proyecto es público y tiene licencia AGPL-3.0-only. Puedes leer cada línea, bifurcarlo y cambiar la arquitectura a tu gusto para tus propios experimentos. El precio es que la licencia lleva términos de copyleft que deberías leer antes de lanzar algo comercial.
Ventajas y desventajas
Ventajas
- El concepto del lienzo multimodal es genuinamente distinto de las herramientas de chat solo texto que usa la mayoría, así que merece un vistazo aunque nunca lo despliegues.
- La flexibilidad de proveedores entre OpenAI, Anthropic, Gemini y Ollama te evita atarte a un único fabricante de modelos.
- La generación de imágenes local con ComfyUI significa que puedes montar un entorno totalmente offline si ya tienes el hardware, una opción rara entre herramientas de chat que asumen una cuenta en la nube.
- La arquitectura de plugins y la documentación dan a los desarrolladores un punto de partida real sobre el que construir.
- Al ser de código abierto, puedes inspeccionar exactamente cómo maneja tus prompts y tus claves.
Desventajas
- No hay versión alojada, así que empezar significa clonar un repositorio y configurar varias claves de API. Es una barrera real si solo quieres probar una app de chat.
- Está etiquetado como prototipo de investigación, lo que significa que los bordes ásperos y las API cambiantes son lo esperado, no una sorpresa.
- La licencia AGPL-3.0 puede complicar el uso comercial, así que revisa los términos si piensas construir un producto encima.
Preguntas frecuentes
Sí. El código es de código abierto bajo AGPL-3.0-only, y no hay suscripción. Tus costes reales vienen de los proveedores de modelos que conectes, ya que esas facturas de API las pagas directamente.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con MulmoChat.
Alternativas a MulmoChat
BinkBink
BinkBink · OtroBinkBink es una plataforma de juegos online gratuita y un creador de juegos con IA que deja que cualquiera convierta una breve descripción de texto en un juego de navegador jugable. Puedes meterte en cientos de juegos hechos por la comunidad. O describes tu propia idea y la juegas en segundos, y luego la compartes con amigos. ¿Quieres crear tu propio juego? No necesitas programar. Sin configurar un motor, sin descargas, sin complicaciones.
Audiogen
Audiogen Inc. · OtroAudiogen es un generador de música con IA creado por Audiogen Inc., un equipo de investigación pequeño que pasó unos 2,5 años entrenando su propio modelo de música generativa y diseñando una interfaz web a su alrededor. En lugar de un simple cuadro de texto, esta herramienta de música con IA convierte la línea de tiempo en una Estación de Trabajo de Audio Generativo (GAW, por sus siglas en inglés), pensada para principiantes, donde el inpainting, la extensión, la remezcla y la edición de pistas funcionan más como pintar sobre un lienzo. El producto sigue en beta, así que el acceso pasa por una lista de espera o una invitación. Los planes de pago todavía no están publicados.
Aiml API
AIMLAPI OÜ · OtroAiml API es una API unificada de modelos de IA que pone más de 1000 modelos de OpenAI, Google, Anthropic y otros detrás de un solo endpoint y una sola factura. Escribes código contra un único esquema compatible con OpenAI y luego cambias entre modelos de chat, imagen, vídeo y audio modificando una cadena de modelo. Encaja con desarrolladores y equipos pequeños que quieren acceso multimodelo sin manejar una docena de cuentas de proveedor distintas, y elimina el dolor de cabeza habitual de la facturación cuando pruebas varios vendedores. Una sola clave lo cubre todo.