MulmoChat
receptron · Outros · Chatbot
O MulmoChat é uma interface de chat com IA multimodal de código aberto que transforma uma conversa em algo que você vê e toca. Em vez de trocar apenas texto, ele joga imagens, mapas exploráveis e minijogos jogáveis sobre um canvas enquanto você continua falando com a IA, e cada resposta vira uma pequena cena que você pode cutucar em vez de um paredão de prosa. Foi criado pela equipe da receptron e chega como protótipo de pesquisa voltado a desenvolvedores e usuários curiosos que querem testar para onde as interfaces de chat caminham.
Sobre MulmoChat
O que é o MulmoChat
O MulmoChat é um protótipo de pesquisa que explora um novo formato para o chat de IA multimodal. As ferramentas de chat tradicionais são texto em primeiro lugar: você digita uma mensagem e recebe texto de volta. O MulmoChat inverte isso ao deixar o conteúdo visual e interativo morar ao lado da conversa, tudo num canvas compartilhado.
Por dentro, é um projeto full-stack. O cliente roda em Vue 3 e TypeScript com Vite, e um pequeno servidor Node cuida das chamadas aos modelos, o que mantém o lado do navegador enxuto e a lógica de provedores num só lugar que você pode auditar. Funciona com vários provedores, entre eles OpenAI, Anthropic, Google Gemini e uma instância local do Ollama, então você não fica preso a um único fornecedor. Se preferir manter tudo na sua máquina, a geração de imagens pode rodar por um ComfyUI local com modelos FLUX.
A maior limitação é a configuração. Não é um produto hospedado em que você faz login. Você clona o repositório, instala dependências e fornece suas próprias chaves de API, às vezes várias, antes de um único prompt rodar. Conte com uma sessão de terminal, não com um formulário de cadastro.
Como começar
- Clone o repositório do GitHub e rode
yarn installpara baixar as dependências. - Crie um arquivo
.enve adicione suas chaves de API, comoOPENAI_API_KEYeGEMINI_API_KEY. As chaves para mapas, busca e geração de HTML são opcionais. - Inicie o servidor de desenvolvimento com
yarn dev, depois abra o navegador e permita o acesso ao microfone. - Clique em Start Voice Chat e comece a falar. Peça uma imagem e veja-a surgir no canvas.
- Para gerar imagens localmente, instale o ComfyUI Desktop, baixe um modelo FLUX e aponte
COMFYUI_BASE_URLpara ele.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de MulmoChat.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Desenvolvedores
- Designers de produtos de IA
- Fuçadores que rodam modelos locais
Tarefas
- Prototipar um app de chat com a voz em primeiro lugar
- Testar geração de imagens local
- Comparar provedores de modelos
Cenários
- Sessões de pesquisa em que você quer fuçar um novo modelo de interação antes de se comprometer com ele.
- Experimentos de fim de semana na sua própria máquina, quando você não se importa de gastar uma hora na configuração primeiro.
- Demos para uma equipe que discute se o chat deveria continuar sendo só texto.
Principais recursos
A conversa encontra o canvas
Aqui está a ideia central. A saída da IA não fica presa numa bolha de mensagem. Um chat de IA com canvas deixa uma imagem surgir no meio da frase, e um mapa virar algo que você arrasta e amplia. Isso muda como um chat se sente, porque a resposta vira um espaço que você explora em vez de uma frase que você lê. Essa virada é o sentido inteiro do projeto.
Interação com a voz em primeiro lugar
O MulmoChat é construído em torno de falar, não de digitar. Você libera o acesso ao microfone, clica em Start Voice Chat e fala naturalmente. O ciclo de chat de IA por voz aqui não é um extra parafusado numa ferramenta de texto, e isso aparece em como a sessão começa. A intenção é um vai e volta que soa mais próximo de uma conversa com uma pessoa do que de uma caixa de texto com um botão de enviar. Sem teclado.
API de texto multiprovedor
Um endpoint agnóstico de provedor alimenta o lado do texto. GET /api/text/providers lista o que está configurado, e POST /api/text/generate recebe um prompt junto com parâmetros como model, maxTokens, temperature e topP, e devolve uma resposta normalizada, não importa qual fornecedor a tenha processado. O conjunto compatível cobre OpenAI, Anthropic, Google Gemini e Ollama.
Geração de imagens local via ComfyUI
Se as ferramentas de imagem na nuvem não são a sua praia, o MulmoChat conversa com uma instância local do ComfyUI Desktop. Para quem procura um chat de IA com geração de imagens que nunca toca um servidor remoto, este é o caminho. Ele envia um prompt, um prompt negativo e um nome de modelo, e devolve dados de imagem em base64. A API detecta automaticamente modelos FLUX e Stable Diffusion e escolhe padrões sensatos para cada um, incluindo resolução, passos de amostragem e sampler. Você pode sobrescrever qualquer um deles.
Arquitetura de plugins
O MulmoChat foi feito para crescer. Um guia dedicado de plugins de ferramentas conduz os desenvolvedores pelo contrato, das interfaces de TypeScript às views de Vue e à configuração, então adicionar um novo recurso ao canvas não significa mexer no núcleo do app. Essa separação é o que mantém o projeto extensível.
Código aberto sob AGPL-3.0
O projeto inteiro é público e licenciado sob AGPL-3.0-only. Você pode ler cada linha, fazer um fork e mudar a arquitetura ao seu gosto para os seus próprios experimentos. O custo é que a licença carrega termos de copyleft que você deveria ler antes de lançar qualquer coisa comercial.
Prós e contras
Prós
- O conceito de canvas multimodal é genuinamente diferente das ferramentas de chat só texto que a maioria usa, então vale uma olhada mesmo que você nunca o coloque no ar.
- A flexibilidade de provedores entre OpenAI, Anthropic, Gemini e Ollama evita que você fique preso a um único fornecedor de modelos.
- A geração de imagens local com ComfyUI significa que você pode rodar uma configuração totalmente offline se já tem o hardware, uma opção rara entre ferramentas de chat que presumem uma conta na nuvem.
- A arquitetura de plugins e a documentação dão aos desenvolvedores um ponto de partida real para construir em cima.
- Por ser de código aberto, você pode inspecionar exatamente como ele lida com seus prompts e chaves.
Contras
- Não existe versão hospedada, então começar significa clonar um repositório e configurar várias chaves de API. É uma barreira real se você só quer testar um app de chat.
- Ele é rotulado como protótipo de pesquisa, o que significa que arestas ásperas e APIs em mudança são esperadas e não surpresa.
- A licença AGPL-3.0 pode complicar o uso comercial, então confira os termos se pretende construir um produto em cima.
Perguntas frequentes
Sim. O código é de código aberto sob AGPL-3.0-only, e não há assinatura. Seus custos reais vêm dos provedores de modelos que você conecta, já que essas contas de API você paga diretamente.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a MulmoChat.
Alternativas a MulmoChat
BinkBink
BinkBink · OutrosO BinkBink é uma plataforma de jogos online gratuita e um criador de jogos com IA que deixa qualquer pessoa transformar uma breve descrição em texto em um jogo de navegador jogável. Você pode entrar em centenas de jogos feitos pela comunidade. Ou descreve a sua própria ideia, joga em segundos e compartilha com amigos. Quer criar seu próprio jogo? Não precisa programar. Sem configurar motor, sem download, sem complicação.
Audiogen
Audiogen Inc. · OutrosO Audiogen é um gerador de música com IA criado pela Audiogen Inc., uma equipe de pesquisa pequena que passou cerca de 2,5 anos treinando o próprio modelo de música generativa e desenhando uma interface web em volta dele. Em vez de uma simples caixa de texto, essa ferramenta de música com IA transforma a linha do tempo em uma Estação de Trabalho de Áudio Generativo, ou GAW, voltada para iniciantes, na qual o inpainting, a extensão, a remixagem e a edição de faixas funcionam mais como pintar em uma tela. O produto ainda está em beta, então o acesso passa por uma lista de espera ou por um convite. Os planos pagos ainda não foram publicados.
Aiml API
AIMLAPI OÜ · OutrosA Aiml API é uma API unificada de modelos de IA que coloca mais de 1000 modelos da OpenAI, Google, Anthropic e outros por trás de um único endpoint e uma única fatura. Você escreve código contra um só esquema compatível com OpenAI e depois alterna entre modelos de chat, imagem, vídeo e áudio mudando uma string de modelo. Ela serve para desenvolvedores e equipes pequenas que querem acesso multimodelo sem administrar uma dúzia de contas de fornecedor separadas, e elimina a dor de cabeça comum de faturamento que vem com testar vários fornecedores. Uma chave cobre tudo.