Phi-4-multimodal and Phi-4-mini
Microsoft · 코딩
Phi-4-multimodal와 Phi-4-mini는 마이크로소프트의 소형 오픈 모델이다. 하나는 텍스트, 오디오, 이미지를 함께 읽고, 다른 하나는 3.8B 파라미터로 텍스트를 추론한다.
Phi-4-multimodal and Phi-4-mini 소개
About
Phi-4-multimodal와 Phi-4-mini란
Phi-4-multimodal와 Phi-4-mini는 마이크로소프트 리서치가 만든 소형 언어 모델 두 종이다. 2025년 2월 14B Phi-4의 가벼운 동반자로 Phi 패밀리에 합류했다. Mini는 파라미터 3.8B의 텍스트 주력이다. Multimodal은 같은 골격에 시각과 음성을 얹어 5.6B가 된다.
마이크로소프트는 이 둘을 데이터센터가 아니라 기기를 위해 설계했다. 어느 쪽이든 메모리가 빠듯한 스마트폰, 노트북, 차량용 기기에 들어가고 지연도 낮다. 이 패밀리의 요점이 여기 있다. 클라우드 GPU를 빌리지 않고도 쓸 만한 멀티모달 AI 모델을 얻는다.
한계는 분명하다. 소형 모델이라 큰 모델보다 사실 지식을 덜 담는다. Mini는 이미지를 아예 읽지 못한다. Multimodal은 텍스트, 이미지, 오디오를 다루지만 셋을 한 프롬프트에 함께 넣지는 못한다. 둘 다 MIT 라이선스의 오픈소스 SLM으로 나와서 미세 조정해 상업적으로 배포할 수 있다.
시작하기
- Hugging Face나 Azure AI Foundry에서 가중치를 받는다. 엣지 하드웨어를 노린다면 ONNX 버전을 고른다.
- transformers 라이브러리로 모델을 불러오거나 Azure AI Foundry, GitHub, NVIDIA API 카탈로그를 통해 호출한다.
- 채팅 프롬프트를 보낸다. Mini는 텍스트를 받는다. Multimodal은 이미지와 오디오도 받아 OCR이나 받아쓰기를 처리한다.
- Phi Cookbook의 레시피로 내 데이터를 학습시킨 뒤 기기에 배포하거나 클라우드에서 제공한다.
제품 정보
Phi-4-multimodal and Phi-4-mini의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 앱 개발자
- 연구자
- 음성·시각 개발자
작업
- 음성 받아쓰기와 번역
- 문서와 차트 읽기
- 수학과 논리 문제
- 함수와 도구 호출
활용 상황
- 오프라인 비서 만들기
- 저예산 프로토타이핑
- 엣지와 IoT 프로젝트
주요 기능
텍스트, 시각, 오디오를 한 모델에 통합
Phi-4-multimodal은 받아쓰기 모델과 시각 모델을 잇는 대신 하나의 신경망으로 텍스트, 이미지, 오디오를 처리한다. 불러올 부품도 관리할 흐름도 하나로 줄어든다. 입력이 서로 얽히는 작업에서 강점이 드러난다. 차트를 읽으면서 말로 한 질문을 듣는 식이다.
Mixture-of-LoRAs 아키텍처
마이크로소프트는 기반 언어 모델을 얼려 둔 채 모달리티별 LoRA 어댑터를 얹고, 알맞은 것을 고르는 라우터를 붙인다. 덕분에 텍스트 능력을 망가뜨리지 않고 음성과 시각을 더한다. 만드는 쪽에서는 기반이 그대로 남고 각 모달리티를 따로 학습할 수 있다.
128K 토큰 컨텍스트 창
두 모델 모두 최대 128K 토큰을 받는다. 긴 문서나 긴 대화에 충분하다. 그룹 쿼리 어텐션이 긴 문맥의 메모리 비용을 낮춘다. RAM이 적은 기기에서 돌릴 때 중요한 부분이다.
탄탄한 음성 인식과 번역
마이크로소프트에 따르면 Multimodal은 단어 오류율 6.14%로 Hugging Face OpenASR 리더보드 정상에 올랐다. 음성 요약을 할 수 있는 첫 오픈 모델이며, 마이크로소프트는 그 성능이 GPT-4o에 가깝다고 밝힌다.
내장 함수 호출
두 모델 모두 별도 설정 없이 함수와 도구 호출을 지원한다. 외부 API를 일으키고 워크플로 안에서 에이전트로 움직인다. Mini의 지시 따르기는 이 용도로 다듬어져 자동화에 실용적이다.
20만 토큰 어휘와 다국어 지원
어휘가 Phi-3.5에서 20만 토큰으로 늘어 다국어 처리가 정교해졌다. 텍스트는 20개 이상 언어, 오디오는 8개 언어, 시각은 영어만 지원한다.
장단점
장점
- MIT 라이선스로 무료로 받아 실행하고, 직접 운영하면 API 요금이 없다.
- 스마트폰, 노트북, 엣지 하드웨어에 들어갈 만큼 작아 기능이 오프라인에서 돌고 기기 안에 머문다.
- Multimodal은 음성 인식, 번역, OCR, 이미지 추론을 한 모델로 처리한다.
- 마이크로소프트에 따르면 Mini는 수학과 코드 테스트에서 두 배 큰 모델에 맞먹는다.
- 공개된 가중치와 기술 보고서로 연구자가 전부 검증하고 미세 조정할 수 있다.
단점
- 크기가 작아 사실 지식이 제한적이라, 검색이나 RAG 계층 없이 전문 주제를 물으면 답이 틀릴 수 있다.
- Multimodal은 같은 프롬프트에 텍스트, 오디오, 이미지를 함께 넣지 못해 결합 입력 흐름에는 우회가 필요하다.
- 시각이 영어만 지원해서 다른 언어의 이미지 작업에는 좁다.
- 클라우드 가격은 Azure AI Foundry 요금제에 달려 지역과 사용 등급에 따라 달라진다.
자주 묻는 질문
항상 그렇지는 않다. 두 모델 모두 CPU와 엣지 하드웨어에서 돌 만큼 작고, 마이크로소프트가 이를 위한 ONNX 버전을 낸다. GPU는 속도를 올려 준다. 특히 멀티모달 모델과 긴 문맥에서 그렇지만 필수는 아니다.
관련 콘텐츠
Phi-4-multimodal and Phi-4-mini와 관련된 도구, 스킬, 아티클을 살펴보세요.
Phi-4-multimodal and Phi-4-mini 대안
Udon
Udon · 코딩 · 생산성Udon은 Apple Silicon Mac을 Mac 홈서버로 바꾸는 소프트웨어다. 브라우저에서 컨테이너와 파일 공유를 관리하고, 원하면 AI 시스템 관리자까지 붙일 수 있다.
offstage
offstage cloud · 코딩 · 생산성offstage는 AI 에이전트와 CI 작업에 진짜 Mac을 넘긴다. Apple Silicon 위의 새 macOS 27 계정을 API로 다루고 초 단위로 과금한다.
BotBus
Chengdu Tuyang Tusen Technology Co., Ltd. · 코딩 · 생산성BotBus는 AI 코딩 에이전트 원격 제어 앱이다. 스마트폰과 워치에서 명령을 승인하고, 작업을 시작하고, 결과를 확인한다.