Stable Diffusion 3

Stable Diffusion 3란

Stable Diffusion 3는 Stability AI가 공개한 오픈 웨이트 이미지 모델이다. 문장으로 지시를 넣으면 그림이 나온다. 하는 일 자체는 Midjourney나 DALL·E와 같다. 구매 판단을 가르는 차이는 하나다. 가중치를 내려받을 수 있어서 직접 관리하는 하드웨어에서 돌릴 수 있다.

Stability는 2024년 2월에 SD3 제품군을 발표했고 같은 해 6월에 Medium을 풀었다. Medium은 20억 개 파라미터다. 80억 파라미터 버전은 자사 앱과 API의 유료 접근 뒤에 남았다. 내부 구조는 멀티모달 확산 트랜스포머(MMDiT)와 16채널 VAE를 묶은 형태다. 텍스트와 이미지 패치를 함께 처리한다는 뜻이고, 이미지 생성기 옆에 글자 판독기를 붙인 방식이 아니다.

이전 세대 Stable Diffusion과 갈리는 지점은 지시 준수다. 사람이 많은 장면이 뭉개지지 않고, 손과 작은 사물이 틀리는 횟수가 줄고, 이미지 안의 짧은 문자열이 읽히는 경우가 많다. 마지막 특성 때문에 포스터와 목업 작업 상당수가 SD3로 넘어왔다.

먼저 짚어야 할 제약이 있다. Stability는 2025년 4월 자사 API의 SD3 엔드포인트를 폐기하고 사용자를 Stable Diffusion 3.5로 옮겼다. 가중치는 여전히 Hugging Face에 있고 외부 호스팅도 모델을 계속 서비스한다. 다만 공식 Stability API를 전제로 계획을 세우는 팀은 사실상 3.5를 쓰게 된다.

시작하는 방법

1. Hugging Face 계정을 만들고 stable-diffusion-3-medium 페이지에서 라이선스에 동의한 뒤 가중치를 내려받거나 diffusers 빌드를 설치한다.
2. 실행 환경을 고른다. 노드 기반 작업에는 ComfyUI, 폼 형태 설정이 편하면 Automatic1111, 파이썬 스크립트와 배치 작업에는 diffusers 라이브러리가 맞는다.
3. 1024x1024 근처로 모델을 올리고 프롬프트는 설명문으로 쓴다. SD3는 장면을 설명하는 한 문장에 더 잘 반응하고, 쉼표로 태그를 늘어놓는 방식에는 둔하다.
4. 시드를 고정하고 작은 배치를 뽑은 다음, 어긋난 부분은 프롬프트를 고쳐 잡는다. 무작정 다시 돌리는 것보다 빠르다. 잘 나온 설정은 저장해서 같은 느낌을 나중에 재현한다.