Llama MacOS Desktop Controller
duduyiq2001 (GitHub) · Voz e linguagem
O Llama MacOS Desktop Controller é um controlador de desktop de código aberto que transforma pedidos em linguagem natural em código Python que executa ações no macOS, com frontend React e backend Flask e LlamaStack na sua própria máquina.
Sobre Llama MacOS Desktop Controller
What Is Llama MacOS Desktop Controller
O Llama MacOS Desktop Controller é um aplicativo de desktop que roda na sua própria máquina e deixa você controlar o macOS com linguagem natural. Você digita ou fala algo como abrir um app ou organizar as janelas, e a ferramenta pede a um modelo Llama local que escreva o código Python que executa a ação. Um frontend feito em React recebe a entrada, e um backend Flask conversa com o LlamaStack, que cuida da geração do código.
O projeto foi publicado no GitHub como demonstração do LlamaStack, a pilha aberta da Meta para rodar modelos Llama. Ele mira desenvolvedores e curiosos que querem ver até onde um modelo local pequeno chega ao transformar instruções do dia a dia em chamadas reais ao sistema. Como tudo roda na máquina, não há ida à nuvem nem conta para criar.
O problema é que se trata de uma demo, não de um produto pronto. Só funciona no macOS, exige Python, Node.js, Ollama e um contêiner do LlamaStack em execução antes de abrir, e as verificações de segurança são fracas, então uma linha mal gerada pode mexer no sistema inteiro.
Getting Started
- Instale o que é preciso: Node.js 16 ou superior com npm, Python 3.8 ou superior com pip e Ollama, e baixe o modelo Llama 3.2 3B Instruct.
- Suba o LlamaStack na porta 5001 com Docker, apontando para o seu servidor Ollama local.
- Na pasta do backend, instale os requisitos de Python e rode o server.py para a API Flask escutar na porta 5066.
- Na raiz do projeto, execute npm install e npm run dev para abrir o frontend React na porta 5173.
- Acesse o navegador em localhost:5173, confirme que o indicador fica verde e digite ou dite um comando para ver o código gerado em ação.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Llama MacOS Desktop Controller.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Desenvolvedores que exploram modelos locais
- Usuários avançados de Mac
- Curiosos pelo LlamaStack
Tarefas
- Abrir apps e organizar janelas
- Tarefas rápidas do sistema
- Testar o controle por linguagem natural
Cenários
- Experimentar o controle com IA local na instalação
- Automatizar uma rotina de desktop repetida
- Aprender como o LlamaStack se liga a um app
Principais recursos
Controle do macOS em linguagem natural
Você descreve o que quer em palavras comuns e o app gera código Python que chama as APIs do macOS para fazer isso. O modelo é orientado a usar PyObjC e AppKit, AppleScript por meio de subprocess ou comandos de shell, de modo que escolhe um caminho viável para cada pedido.
Entrada de texto e voz
O frontend React aceita um comando digitado ou um falado pelo reconhecimento de voz do navegador. A voz ajuda quando as mãos estão ocupadas, e os dois modos chegam ao mesmo lugar, então você alterna entre eles sem mudar mais nada.
Status ao vivo e histórico de comandos
Um indicador mostra se o backend e o LlamaStack respondem, assim você sabe que o sistema está pronto antes de enviar um pedido. Cada comando fica registrado com o resultado, de acerto ou erro, o que facilita rastrear o que rodou e se deu certo.
Canal local com LlamaStack
O backend Flask encaminha cada pedido ao LlamaStack, configurado por padrão com o modelo Llama 3.2 3B Instruct. Como o modelo roda pelo Ollama na sua máquina, todo o circuito fica local, sem chave de API e sem nenhum dado sair do computador.
Execução do código gerado
Quando o modelo devolve o código, o backend limpa a formatação, analisa e executa, e depois entrega a saída ao frontend. Assim dá para ver o caminho inteiro de uma frase até uma ação executada, que é justamente o sentido da demo.
Código aberto e revisável
O projeto sai como um código público pequeno, com frontend de React e Vite, uma API Flask e um guia de instalação para LlamaStack e Ollama. Você pode ler cada parte, mudar os prompts ou apontar para outro modelo Llama local se quiser experimentar.
Prós e contras
Prós
- Gratuito e de código aberto, com frontend e backend publicados para revisão
- Roda inteiro no seu Mac, então nem os prompts nem os resultados saem do computador
- Transforma linguagem natural e voz em ações reais do macOS
- O indicador de status e o registro de comandos deixam cada resultado à vista
- Serve ainda como exemplo prático de como ligar o LlamaStack a um app de desktop
Contras
- É uma demo, então as verificações de segurança do código gerado são mínimas e um erro pode afetar o sistema
- A instalação pesa: é preciso ter Python, Node.js, Ollama e um contêiner Docker rodando para funcionar
- Só atende macOS, então usuários de Windows e Linux ficam de fora
- Não há instalador empacotado, nem plano pago, nem API pública para outros apps
Perguntas frequentes
É um app de desktop que deixa você controlar o macOS com linguagem natural. Você digita ou fala um pedido, um modelo Llama local escreve o código Python das chamadas ao sistema e o backend executa para a ação acontecer no seu Mac.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Llama MacOS Desktop Controller.
Alternativas a Llama MacOS Desktop Controller
Prosp
Prosp · Escrita · Voz e linguagem · MarketingO Prosp é uma ferramenta de abordagem no LinkedIn com IA, feita para agências e equipes de vendas, e escreve a mensagem e a nota de voz com a sua própria voz para cada prospect, para que eles realmente respondam. Você conecta suas contas, encontra leads e deixa a IA redigir e enviar mensagens personalizadas em escala, tudo em uma única caixa de entrada. É feita para quem faz abordagem em volume. Essa é toda a proposta. Cada toque ainda precisa parecer humano.
Wordly AI Translation
Wordly · Voz e linguagem · ProdutividadeO Wordly AI Translation é uma plataforma de tradução e legendagem com IA em tempo real feita para reuniões, conferências e eventos. Ele entrega tradução ao vivo, legendas, transcrições e resumos em mais de 60 idiomas, e os participantes entram escaneando um QR code ou abrindo um link em vez de usar fones dedicados. A plataforma funciona com Zoom, Microsoft Teams, Google Meet e Webex, e foi pensada para organizações que querem acesso multilíngue sem contratar intérpretes humanos para cada sessão. Simples assim.
Musicful
Musicful AI · Voz e linguagem · VídeoO Musicful é um gerador de música com IA e um criador de videoclipes com IA que transforma texto em música em minutos. Você entrega um texto, um conjunto de letras ou uma melodia cantarolada e ele devolve uma faixa pronta com vocais e instrumentos. Também funciona como gerador de músicas com IA, produz videoclipes a partir das músicas que você cria e oferece uma ferramenta de cover com IA mais uma API para desenvolvedores. A plataforma roda no navegador e em um app para Android, então você pode começar uma música no computador e continuar no celular.