MulmoChat
receptron · 기타 · 챗봇
MulmoChat는 대화를 눈으로 보고 손으로 만질 수 있는 무언가로 바꿔 주는 오픈소스 멀티모달 AI 채팅 인터페이스다. 텍스트만 주고받는 대신, AI와 계속 말하는 동안 이미지, 탐색할 수 있는 지도, 플레이 가능한 미니게임을 캔버스 위에 올린다. 그래서 답변 하나하나가 글자의 벽이 아니라 찔러 볼 수 있는 작은 장면이 된다. receptron 팀이 만들었고, 채팅 인터페이스의 다음 방향을 시험하려는 개발자와 호기심 많은 사용자를 겨냥한 연구용 프로토타입으로 나왔다.
MulmoChat 소개
MulmoChat란 무엇인가
MulmoChat는 멀티모달 AI 채팅의 새로운 형태를 탐구하는 연구용 프로토타입이다. 전통적인 채팅 도구는 텍스트가 먼저다. 메시지를 입력하면 텍스트가 돌아온다. MulmoChat는 이를 뒤집어, 시각적이고 상호작용적인 콘텐츠가 대화 바로 옆에 살도록 한다. 모두 하나의 공유 캔버스 위에서다.
속을 들여다보면 풀스택 프로젝트다. 클라이언트는 Vue 3와 TypeScript, Vite로 돌아가고, 작은 Node 서버가 모델 호출을 맡는다. 덕분에 브라우저 쪽은 얇게 유지되고, 공급자 로직은 감사할 수 있는 한곳에 모인다. OpenAI, Anthropic, Google Gemini, 그리고 로컬 Ollama 인스턴스를 비롯한 여러 공급자와 작동하므로 한 업체에 묶이지 않는다. 모든 것을 자기 머신에 두고 싶다면, 이미지 생성은 FLUX 모델을 쓰는 로컬 ComfyUI로 돌릴 수 있다.
가장 큰 제약은 설정이다. 로그인만 하면 되는 호스팅 제품이 아니다. 저장소를 복제하고, 의존성을 설치하고, 자신의 API 키를, 때로는 여러 개를 넣어야 프롬프트 하나가 실행된다. 가입 양식이 아니라 터미널 작업 시간을 예상해야 한다.
시작하기
- GitHub에서 저장소를 복제하고
yarn install을 실행해 의존성을 받는다. .env파일을 만들고OPENAI_API_KEY,GEMINI_API_KEY같은 API 키를 넣는다. 지도, 검색, HTML 생성 키는 선택 사항이다.yarn dev로 개발 서버를 시작하고, 브라우저를 열어 마이크 접근을 허용한다.- Start Voice Chat을 클릭하고 말을 시작한다. 이미지를 요청하면 캔버스에 나타나는 것을 볼 수 있다.
- 로컬에서 이미지를 생성하려면 ComfyUI Desktop을 설치하고, FLUX 모델을 내려받아
COMFYUI_BASE_URL을 그쪽으로 지정한다.
제품 정보
MulmoChat의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 개발자
- AI 제품 디자이너
- 로컬 모델을 돌리는 취미 사용자
작업
- 음성 우선 채팅 앱 프로토타이핑
- 로컬 이미지 생성 테스트
- 모델 공급자 비교
활용 상황
- 새로운 상호작용 모델에 전념하기 전에 한번 찔러 보고 싶은 연구 세션.
- 자기 머신에서 하는 주말 실험. 처음에 한 시간을 설정에 써도 괜찮을 때.
- 채팅이 텍스트만으로 남아야 하는지 논쟁하는 팀을 위한 시연.
주요 기능
대화가 캔버스를 만나다
여기가 핵심 아이디어다. AI의 출력은 메시지 말풍선에 갇히지 않는다. 캔버스형 AI 채팅은 문장 중간에 이미지가 나타나게 하고, 지도를 이동하고 확대할 수 있는 무언가로 만든다. 답변이 읽는 한 문장이 아니라 탐험하는 공간이 되니 채팅의 느낌이 달라진다. 이 전환이 프로젝트의 전부다.
음성 우선 상호작용
MulmoChat는 타이핑이 아니라 말하기를 중심으로 만들어졌다. 마이크 접근을 허용하고 Start Voice Chat을 누른 뒤 자연스럽게 말한다. 여기의 음성 채팅 AI 루프는 텍스트 도구에 볼트로 붙인 추가 기능이 아니고, 세션이 시작되는 방식에서 그것이 드러난다. 의도는 전송 버튼 달린 텍스트 상자보다 사람과의 대화에 더 가까운 주고받기다. 키보드는 필요 없다.
다중 공급자 텍스트 API
공급자에 구애받지 않는 엔드포인트가 텍스트 쪽을 담당한다. GET /api/text/providers는 설정된 항목을 나열하고, POST /api/text/generate는 프롬프트와 model, maxTokens, temperature, topP 같은 매개변수를 받아 어느 업체가 처리했든 정규화된 응답을 돌려준다. 지원 범위는 OpenAI, Anthropic, Google Gemini, Ollama를 아우른다.
ComfyUI를 통한 로컬 이미지 생성
클라우드 이미지 도구가 맞지 않는다면 MulmoChat는 로컬 ComfyUI Desktop 인스턴스와 대화한다. 원격 서버를 전혀 건드리지 않는 이미지 생성 AI 채팅을 찾는 사람에게 이 길이 있다. 프롬프트, 부정 프롬프트, 모델 이름을 보내고 base64 이미지 데이터를 돌려받는다. API는 FLUX와 Stable Diffusion 모델을 자동으로 구분하고 해상도, 샘플링 단계, 샘플러를 비롯해 각각에 합리적인 기본값을 고른다. 어느 것이든 덮어쓸 수 있다.
플러그인 아키텍처
MulmoChat는 성장하도록 만들어졌다. 전용 도구 플러그인 가이드가 TypeScript 인터페이스부터 Vue 뷰와 설정까지 계약 전반을 개발자에게 안내하므로, 새 캔버스 기능을 추가하는 일이 앱의 핵심을 건드리는 것을 뜻하지 않는다. 이 분리가 프로젝트를 확장 가능하게 유지한다.
AGPL-3.0 오픈소스
프로젝트 전체가 공개되어 있고 AGPL-3.0-only로 라이선스된다. 모든 줄을 읽고, 포크하고, 자신의 실험에 맞게 아키텍처를 바꿀 수 있다. 대가는 라이선스가 카피레프트 조건을 담고 있다는 점이고, 상업적으로 무엇이든 내놓기 전에 읽어 봐야 한다.
장단점
장점
- 멀티모달 캔버스 개념은 대부분이 쓰는 텍스트 전용 채팅 도구와 정말 다르다. 한 번도 배포하지 않더라도 볼 가치가 있다.
- OpenAI, Anthropic, Gemini, Ollama에 걸친 공급자 유연성 덕분에 단일 모델 업체에 묶이지 않는다.
- 로컬 ComfyUI 이미지 생성은 하드웨어만 있으면 완전 오프라인 구성으로 돌릴 수 있다는 뜻이다. 클라우드 계정을 전제하는 채팅 도구에서는 드문 선택지다.
- 플러그인 아키텍처와 문서는 개발자에게 진짜 출발점을 준다.
- 오픈소스이므로 프롬프트와 키를 어떻게 다루는지 정확히 들여다볼 수 있다.
단점
- 호스팅 버전이 없어서 시작하려면 저장소를 복제하고 여러 API 키를 설정해야 한다. 채팅 앱을 그냥 시험해 보고 싶을 뿐이라면 이건 실질적인 장벽이다.
- 연구용 프로토타입으로 표시되어 있어, 거친 부분과 바뀌는 API는 놀라움이 아니라 예상된 일이다.
- AGPL-3.0 라이선스는 상업적 사용을 복잡하게 만들 수 있으니, 위에 제품을 올릴 계획이라면 조건을 확인하자.
자주 묻는 질문
그렇다. 코드는 AGPL-3.0-only로 오픈소스이며 구독이 없다. 실제 비용은 연결한 모델 공급자에서 나온다. 그 API 청구서는 직접 지불한다.
관련 콘텐츠
MulmoChat와 관련된 도구, 스킬, 아티클을 살펴보세요.
MulmoChat 대안
BinkBink
BinkBink · 기타BinkBink는 무료 온라인 게임 플랫폼이자 AI 게임 메이커로, 누구나 짧은 텍스트 설명을 플레이 가능한 브라우저 게임으로 바꿀 수 있다. 커뮤니티가 만든 수백 개의 게임에 바로 뛰어들 수 있다. 아니면 자기 아이디어를 설명하고 몇 초 만에 플레이한 뒤 친구와 공유하면 된다. 내 게임을 만들고 싶은가? 코딩은 필요 없다. 엔진 설정도, 다운로드도, 번거로움도 없다.
Audiogen
Audiogen Inc. · 기타Audiogen은 Audiogen Inc.가 만든 AI 음악 생성기다. 작은 연구팀이 약 2년 반 동안 자체 생성형 음악 모델을 학습시키고 그 주위에 웹 인터페이스를 설계했다. 이 AI 음악 도구는 단순한 텍스트 상자 대신 타임라인을 초보자 친화적인 생성형 오디오 워크스테이션(Generative Audio Workstation, 줄여서 GAW)으로 바꾼다. 그 안에서는 인페인팅, 확장, 리믹스, 스템 편집이 캔버스에 그림을 그리듯 작동한다. 제품은 아직 베타라 접근은 대기 명단이나 초대를 거친다. 유료 요금제는 아직 공개되지 않았다.
Aiml API
AIMLAPI OÜ · 기타Aiml API는 OpenAI, Google, Anthropic 등 1000개 이상의 모델을 하나의 엔드포인트와 하나의 청구서 뒤에 모은 통합 AI 모델 API다. 단일 OpenAI 호환 스키마에 맞춰 코드를 작성한 뒤 모델 문자열 하나만 바꾸면 채팅, 이미지, 비디오, 오디오 모델 사이를 전환할 수 있다. 열두 개가 넘는 공급자 계정을 저글링하고 싶지 않은 개발자와 소규모 팀에 맞고, 여러 벤더를 시험할 때 따르는 청구 골칫거리도 없앤다. 키 하나면 모두 해결된다.