Phi-4-multimodal and Phi-4-mini

Phi-4-multimodal procesa texto, imágenes y audio con una única red en lugar de encadenar un modelo de transcripción a uno de visión. Eso deja un solo componente que cargar y una sola tubería que mantener. La ventaja aparece en tareas donde las entradas se cruzan, como leer un gráfico mientras escuchas una pregunta hablada.

Microsoft mantiene el modelo base congelado y le engancha adaptadores LoRA por modalidad, con un enrutador que elige el correcto. Gracias a eso el modelo gana voz y visión sin arruinar sus habilidades de texto. Para quien construye, significa que la base queda intacta y cada modalidad se entrena por separado.

Los dos modelos aceptan hasta 128K tokens, suficiente para documentos largos o conversaciones extensas. La atención de consultas agrupadas recorta el coste de memoria de ese contexto largo, algo que importa cuando el modelo corre en un dispositivo con poca RAM.

Multimodal llegó a lo más alto de la tabla OpenASR de Hugging Face con una tasa de error de palabra del 6.14%, según Microsoft. Fue el primer modelo abierto capaz de resumir voz, y Microsoft señala que su rendimiento ahí se acerca al de GPT-4o.

Los dos modelos admiten llamadas a funciones y herramientas sin configuración extra, así que pueden disparar APIs externas y actuar como agentes dentro de un flujo de trabajo. El seguimiento de instrucciones de Mini se afinó justo para esto, lo que lo vuelve práctico para automatizar.

El vocabulario sube a 200K tokens, frente a Phi-3.5, y eso afina el manejo de varios idiomas. El texto llega a más de 20 idiomas, el audio cubre ocho y la visión funciona en inglés.