Llama

Os pesos do modelo estão disponíveis para download, então você pode rodar o Llama nas suas próprias máquinas em vez de alugar a nuvem de outra pessoa. Isso importa quando os dados não podem sair da sua rede ou quando você quer controle total sobre o ambiente de execução. Também significa que o hardware e a manutenção ficam por sua conta.

O Llama vem em vários tamanhos, de modelos pequenos que cabem em uma única GPU de consumidor a outros maiores que exigem um servidor. Você escolhe o tamanho que combina com o seu hardware e as suas necessidades de precisão em vez de aceitar uma opção fixa. As versões menores são mais baratas de rodar. As maiores raciocinam melhor em tarefas difíceis, e essa diferença aumenta quando a instrução fica confusa ou a tarefa encadeia vários passos de lógica.

As versões mais novas do Llama entendem vários idiomas e processam imagens junto com o texto. Você pode perguntar sobre um gráfico, uma captura de tela ou uma foto e receber uma resposta em texto. O suporte varia conforme a versão, então confira o cartão do modelo específico antes de contar com a entrada de imagens.

Você pode ajustar o Llama com os seus próprios dados, ou destilar uma versão grande em uma menor que roda mais barato. É assim que as equipes adaptam um modelo geral a um trabalho específico, como classificar tickets de suporte. Exige dados rotulados. Exige poder de processamento. Não é um projeto de um fim de semana.

Se você prefere não rodar nada por conta própria, vários provedores servem o Llama por meio de uma API. Você chama um endpoint e paga por token, o que é mais simples do que gerenciar GPUs. O sacrifício é que você abre mão de parte do controle sobre onde os seus dados vão parar.

Ferramentas populares como Ollama, llama.cpp e vLLM suportam o Llama de imediato, então você não começa do zero quando quer servi-lo localmente ou encaixá-lo em uma aplicação existente sem reescrever metade da sua estrutura.