Phi-4-multimodal and Phi-4-mini
Microsoft · コーディング
Phi-4-multimodal と Phi-4-mini は Microsoft の小型オープンモデル。一方はテキスト、音声、画像を同時に読み、もう一方は 3.8B パラメータでテキストを推論する。
Phi-4-multimodal and Phi-4-mini について
About
Phi-4-multimodal と Phi-4-mini とは
Phi-4-multimodal と Phi-4-mini は Microsoft Research の小型言語モデルだ。2025 年 2 月、14B の Phi-4 の軽量な相棒として Phi ファミリーに加わった。Mini はパラメータ 3.8B のテキスト担当。Multimodal は同じ骨格に視覚と音声を足したもので、5.6B になる。
Microsoft はこの 2 つをデータセンターではなくデバイス向けに設計した。どちらもメモリの厳しいスマホ、ノート PC、車載機器に収まる Microsoft Phi モデルで、デバイス上のAIとして低遅延で応答する。そこがこのファミリーの狙いだ。クラウドの GPU を借りずに、使えるマルチモーダルAIモデルが手に入る。
制約もはっきりしている。小型モデルなので、大きなモデルほど事実知識を蓄えられない。Mini は画像を読めない。Multimodal はテキスト、画像、音声を扱えるが、3 つを同じプロンプトに同時に入れることはできない。どちらも MIT ライセンスのオープンソースSLMで、微調整して商用配布できる。
はじめかた
- Hugging Face か Azure AI Foundry から重みを取得する。エッジ向けなら ONNX 版を選ぶ。ホスト型のエンドポイントを呼ぶなら Phi-4 API も使える。
- transformers ライブラリで読み込むか、Azure AI Foundry、GitHub、NVIDIA API カタログ経由で呼び出す。
- チャットのプロンプトを送る。Mini はテキストを受け取る。Multimodal は加えて画像と音声も受け取り、OCR や文字起こしをこなす。
- Phi Cookbook のレシピで手持ちのデータを学習させ、デバイス上に配備するかクラウドから提供する。
AIツール情報
Phi-4-multimodal and Phi-4-miniの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- アプリ開発者：クラウドを経由せず、スマホやノート PC に AI 機能を載せたいチーム。どちらも組み込める大きさで、MIT ライセンスなら商用配布もできる。
- 研究者：効率的な学習とマルチモーダル統合を調べるラボ。モデルは公開されていて、Mixture-of-LoRAs の設計を検証し、その上に作れる。
- 音声と視覚の開発者：アプリに文字起こしや翻訳、OCR を足したい人。Multimodal なら複数モデルをつながず、1 つで済む。
タスク
- 音声の文字起こしと翻訳：Multimodal は 20 以上の言語で自動音声認識と音声翻訳をこなし、聞いた内容を要約する。
- 文書とグラフの読み取り：マルチモーダルモデルは画像から文字を取り出し、表を解釈し、文書を推論する。領収書や申請書、スキャンしたページに向く。
- 数学と論理の問題：Mini は同規模の推理テストで健闘し、文章題やコード支援、段階的な論理を扱う。
- 関数とツールの呼び出し：どちらも関数呼び出しを標準で備える。API につないで、動作を起こさせるエージェントとして使える。
シーン
- オフラインのアシスタントを作る：ネットが不安定な場所でも、デバイス上のモデルが音声とテキストを動かし続ける。2 つともローカルで動くので、データは端末の外に出ない。
- 低予算で試作する：スタートアップや学生は、呼び出しごとの API 料金を払わずマルチモーダル機能を試せる。重みは無料で取得して動かせるからだ。
- エッジと IoT の案件：小さなサイズと ONNX 対応は、70B モデルがとても動かせない案内端末、カメラ、組み込み機器に合う。
主な機能
テキスト・視覚・音声を 1 つのモデルに統合
Phi-4-multimodal は文字起こしモデルと視覚モデルをつなぐのではなく、1 つのネットワークでテキスト、画像、音声を処理する。読み込む部品も保守する流れも 1 つで済む。入力を組み合わせる場面で効果が出る。グラフを読みながら話しかけられた質問を聞く、といった具合だ。
Mixture-of-LoRAs アーキテクチャ
Microsoft は基盤の言語モデルを凍結したまま、モダリティごとの LoRA アダプタを載せ、正しいものを選ぶルーターを添える。これによりテキスト能力を壊さずに音声と視覚を足せる。作る側から見ると、基盤はそのままに、モダリティごとに分けて学習できる。
128K トークンのコンテキスト窓
どちらも最大 128K トークンを受け付ける。長い文書や長い会話に足りる量だ。グループ化クエリ Attention がその長い文脈のメモリコストを抑える。RAM の限られた端末で動かすときには効いてくる。
確かな音声認識と翻訳
Microsoft によれば、Multimodal は単語誤り率 6.14% で Hugging Face の OpenASR ランキング首位に立った。音声要約ができる初のオープンモデルで、Microsoft はその性能が GPT-4o に近いとしている。
組み込みの関数呼び出し
どちらも設定なしで関数とツールの呼び出しに対応し、外部 API を起動してワークフロー内でエージェントとして動ける。Mini の指示追従はこのために調整されていて、自動化に向く。
20 万トークンの語彙と多言語対応
語彙は Phi-3.5 の 20 万トークンへ広がり、多言語の扱いが細かくなる。テキストは 20 以上の言語、音声は 8 言語、視覚は英語のみに対応する。
メリットとデメリット
メリット
- MIT ライセンスで無料で取得・実行でき、自前運用なら API 料金はかからない。
- スマホ、ノート PC、エッジ機器に載る大きさで、機能はオフラインで動き端末内に収まる。
- Multimodal は音声認識、翻訳、OCR、画像推論を 1 つのモデルでこなす。
- Microsoft によれば、Mini は数学とコードのテストで倍以上大きなモデルに匹敵する。
- 公開された重みと技術レポートで、研究者はすべて検証し微調整できる。
デメリット
- 小型ゆえに事実知識が限られ、検索や RAG 層がなければ専門的な話題の回答が誤ることがある。
- Multimodal は同じプロンプトにテキスト、音声、画像を同時に入れられず、組み合わせ入力の流れには工夫が要る。
- 視覚は英語のみで、英語以外の画像タスクには向かない。
- クラウドの料金は Azure AI Foundry のプラン次第で、地域と利用段階によって変わる。
よくある質問
必ずしも要らない。どちらも CPU とエッジ機器で動く大きさで、Microsoft はそのための ONNX 版を出している。GPU があれば速くなる。とくにマルチモーダルモデルと長い文脈では効くが、必須ではない。
関連コンテンツ
Phi-4-multimodal and Phi-4-miniに関連するツール、スキル、記事を探す。
Phi-4-multimodal and Phi-4-miniの代替ツール
Base Code
Base44 (Wix) · コーディング · 生産性向上Base CodeはBase44の共有クラウド開発環境だ。既存のGitHubリポジトリに対する変更をチャットで伝え、プレビューで確認し、プルリクエストとして返せる。
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
GitGlow
GitGlow · コーディング · 生産性向上GitGlow は自分のコードと AI エージェントの変更を一つのレビューにまとめるデスクトップ Git クライアントだ。出荷前に、マシンから何が出ていくのかを確かめられる。