Phi-4-multimodal and Phi-4-mini

O Phi-4-multimodal processa texto, imagens e audio com uma so rede, em vez de encadear um modelo de transcricao a um de visao. Isso deixa um unico componente para carregar e um unico fluxo para manter. O ganho aparece em tarefas em que as entradas se cruzam, como ler um grafico enquanto ouve uma pergunta falada.

A Microsoft mantem o modelo base congelado e acopla adaptadores LoRA por modalidade, com um roteador que escolhe o certo. E isso que permite ao modelo ganhar fala e visao sem estragar suas habilidades de texto. Para quem constroi, significa que a base fica intacta e cada modalidade treina separadamente.

Os dois modelos aceitam ate 128K tokens, o suficiente para documentos longos ou conversas extensas. A atencao de consultas agrupadas reduz o custo de memoria desse contexto longo, algo que importa quando o modelo roda em um dispositivo com pouca RAM.

O Multimodal chegou ao topo da tabela OpenASR do Hugging Face com taxa de erro de palavra de 6.14%, segundo a Microsoft. Foi o primeiro modelo aberto capaz de resumir fala, e a Microsoft afirma que o desempenho ali fica proximo do GPT-4o.

Os dois modelos trazem suporte a chamada de funcoes e ferramentas sem configuracao extra, entao podem disparar APIs externas e agir como agentes dentro de um fluxo de trabalho. O seguimento de instrucoes do Mini foi afinado justamente para isso, o que o torna pratico para automatizar.

O vocabulario sobe para 200K tokens, contra o Phi-3.5, e isso melhora o tratamento de varios idiomas. O texto chega a mais de 20 idiomas, o audio cobre oito e a visao funciona em ingles.