Riffusion

Riffusion은 이미지 생성 기술을 소리에 적용한 실험에서 출발했다. 개발자들은 그림을 그리는 모델인 Stable Diffusion을 가져다 스펙트로그램을 그리도록 학습시켰다. 스펙트로그램은 소리의 이미지다. 시간은 왼쪽에서 오른쪽으로 흐르고, 음높이는 아래에서 위로 올라간다. Riffusion은 그 이미지를 읽고 보이는 주파수를 재생한다. 그래서 장르나 분위기를 말로 설명하면 실제 오디오 조각이 된다. 팀에 따르면 이 방식 덕분에 글자를 고치면서 그 자리에서 음악을 만들 수 있는 초기 도구 중 하나가 됐다.

이 프로젝트는 제대로 된 AI 노래 생성기로 자랐다. 이후 버전은 짧은 반주 루프를 넘어 가사와 보컬, 다시 섞을 수 있는 분리 트랙을 갖춘 온전한 곡을 내놓는다. 원래 웹 앱은 오픈소스라 GPU만 있으면 누구나 직접 돌릴 수 있다. 호스팅 버전은 그 통제권을 편의와 맞바꿨다.

2026년에는 중요한 변화가 있다. Riffusion은 더 이상 독립 제품으로 돌아가지 않는다. 공식 사이트는 이제 Google의 Flow Music으로 넘어간다. Lyria 계열 모델로 만든 AI 음악 스튜디오다. 예전의 상호작용형 스펙트로그램 장난감을 기대하고 Riffusion을 찾으면 다른 도구에 도착한다. 좋은 점은 스튜디오가 더 정교해졌다는 것이다. 대가는 Riffusion을 특별하게 만든 거칠고 수작업인 스펙트로그램 편집이 사라졌다는 것이다.

Getting Started

1. Riffusion 사이트나 지금 연결되는 Flow Music 스튜디오를 열고 로그인해 새 프로젝트를 시작한다.
2. 원하는 소리를 쉬운 말로 적는다. 공부용 로파이 비트나 도시의 불빛을 노래한 신스팝 같은 식이다. 직접 쓴 가사를 붙여 넣어도 된다.
3. 스타일을 고르고 보컬인지 반주인지 정한 뒤 곡 길이를 설정한다.
4. 트랙을 생성하고 플레이어에서 듣고, 글을 바꿔 가며 원하는 결과가 나올 때까지 다시 만든다.
5. 마음에 드는 곡을 내려받거나 영상과 편집 프로젝트에 쓸 수 있게 내보낸다.