Clicky
Farza (Farzaa) · Voz e linguagem
O Clicky é um companheiro de desktop com IA que fica na barra de menus do macOS e observa a sua tela. Você aperta um atalho, faz uma pergunta em voz alta e ele responde falando. Melhor ainda, um cursor azul cruza a sua tela e aponta o botão ou o menu exato que você deve clicar em seguida. Foi feito para quem trava em aplicativos complicados e quer um professor sentado ao lado em vez de mais uma janela de chat.
Sobre Clicky
O que é o Clicky
O Clicky é um assistente de tela por voz para macOS. Ele fica na barra de menus, não no dock, e entra em ação quando você segura Control mais Option. Esse atalho tira uma captura da sua tela atual, começa a escutar pelo microfone e envia a imagem e a sua pergunta para um modelo de IA. A resposta volta em forma de fala.
O que o separa de um chatbot comum é o ato de apontar. Esse tipo de orientação por IA na tela é raro em um assistente de desktop. Quando o modelo decide que você precisa clicar em algo, ele embute uma etiqueta de coordenadas na resposta, e a camada sobreposta do Clicky lança um cursor azul até esse ponto da tela. Então, em vez de ler "clique no botão de exportar no canto superior direito" e caçar o botão, você vê o cursor pousar nele e acompanha.
O problema é a instalação. Esta é a versão de código aberto, e ela exige trabalho braçal: Xcode, uma conta na Cloudflare, Node.js e as suas próprias chaves de API da Anthropic, da AssemblyAI e da ElevenLabs. Só funciona em Mac, precisa do macOS 14.2 ou mais recente, e o desenvolvedor moveu o desenvolvimento ativo para um repositório privado, então o código público fica congelado enquanto o aplicativo real continua evoluindo em outro lugar.
Como começar
- Verifique se o seu Mac roda macOS 14.2 ou superior e instale o Xcode 15 e o Node.js 18.
- Clone o repositório do Clicky e crie uma conta gratuita na Cloudflare para hospedar o pequeno worker proxy que guarda as suas chaves de API.
- Adicione as chaves da Anthropic (a IA), da AssemblyAI (fala para texto) e da ElevenLabs (a voz) como segredos do worker e faça o deploy do worker.
- Cole a URL do worker no código Swift onde os endereços do proxy estão fixos.
- Abra o projeto no Xcode, escolha o esquema do aplicativo, defina a sua equipe de assinatura e aperte Cmd + R para compilar e executar.
- Clique no ícone da barra de menus, conceda as permissões de microfone, acessibilidade e gravação de tela e comece a falar.
Prefere menos complicação? O caminho mais rápido é rodar o Claude Code no repositório e deixar que ele leia o documento de arquitetura enquanto conduz você por todo o processo.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Clicky.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Pessoas que aprendem softwares complexos
- Quem prefere falar a digitar
- Curiosos e desenvolvedores
Tarefas
- Encontrar opções de menu escondidas
- Passo a passo guiado em aplicativos desconhecidos
- Resolução de problemas na tela
Cenários
- Aprender o Blender ou outra ferramenta cheia de atalhos em que os menus se escondem atrás de abas
- Trabalhar com um segundo monitor
- Acompanhar um tutorial que você não consegue seguir
Principais recursos
Consciência da tela em tempo real
O Clicky captura o que estiver na sua tela no instante em que você aciona o atalho e então envia essa imagem para a IA junto com a sua pergunta falada. Você não precisa descrever a sua tela; ele já a vê. É isso que transforma um chatbot genérico em algo capaz de comentar a janela exata à sua frente.
Interação com prioridade para a voz
Segure Control mais Option, fale e solte. O áudio é transmitido para a AssemblyAI e transcrito em tempo real, então você nunca digita um comando. A resposta toca pela ElevenLabs com uma voz de som natural, o que torna o aprendizado sem as mãos realmente prático quando elas estão ocupadas no mouse.
Ponteiro que aponta por meio de etiquetas de coordenadas
O truque que se destaca. A IA pode inserir uma etiqueta [POINT:x,y:label:screenN] na resposta, e a camada sobreposta transparente do Clicky lança um cursor azul voando até esse pixel na tela indicada. Ele lida com vários monitores, então a orientação segue você entre as telas em vez de funcionar só na principal.
Baseado nas suas próprias chaves de API
O Clicky não revende acesso a um modelo. Você conecta as suas credenciais da Anthropic, da AssemblyAI e da ElevenLabs por meio de um proxy com Cloudflare Worker. Isso mantém as suas chaves fora do binário do aplicativo e deixa você controlar qual modelo e qual voz estão por trás do assistente.
Código aberto e pronto para bifurcar
Todo o código é público sob licença MIT, com um documento de arquitetura escrito para agentes de programação com IA. Você pode clonar, remodelar a camada sobreposta, trocar o modelo ou usar tudo como ponto de partida para o seu próprio assistente de desktop. O desenvolvedor convida abertamente você a montar uma empresa com isso.
Design nativo na barra de menus
Sem ícone no dock, sem bagunça. O Clicky coloca dois painéis leves no seu fluxo de trabalho: um painel de controle na barra de menus e uma camada sobreposta transparente em tela cheia para o cursor. Ele fica fora do caminho até o atalho chamá-lo, o que mantém a área de trabalho limpa.
Orientação do cursor em vários monitores
A orientação não fica presa a uma tela. Como as etiquetas de ponto carregam um número de tela, o cursor sabe qual monitor tem o elemento pelo qual você perguntou. Monte dois monitores e o ponteiro continua caindo no lugar certo.
Prós e contras
Prós
- O gesto de apontar faz trabalho de verdade. Dizer "clique aqui" e mostrar onde supera um paredão de texto toda vez.
- Nasce livre como companheiro de IA de código aberto sob licença MIT, então você pode inspecionar, bifurcar ou ampliar sem pedir licença.
- Voz mais contexto de tela significa que você pula a parte chata de descrever o seu problema para uma IA.
- O ato de apontar em vários monitores está resolvido, algo que muitos assistentes de tela deixam de lado.
- Funciona por cima dos aplicativos que você já usa, então não há ferramenta nova para aprender antes de ele ajudar.
Contras
- A instalação não é amigável para iniciantes. Xcode, Node.js, uma conta na Cloudflare e três conjuntos de chaves de API são muito para pedir antes da primeira pergunta.
- Só macOS, e precisa do macOS 14.2 ou mais recente, então Windows e Macs antigos ficam de fora.
- As APIs por baixo você paga sozinho, e o uso pesado da voz pode acumular gastos na Anthropic, na AssemblyAI e na ElevenLabs.
- O desenvolvimento ativo foi para um repositório privado, então a versão pública que você compila aqui não receberá os recursos mais novos.
Perguntas frequentes
O Clicky é um assistente de voz que observa a sua tela do macOS e ajuda você a se virar no software. Você faz uma pergunta em voz alta, ele responde falando e um cursor azul aponta o botão ou o menu exato que você deve usar em seguida.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Clicky.
Alternativas a Clicky
Off the Record
Weird Machines · Voz e linguagem · ProdutividadeOff the Record é um app de macOS da Weird Machines que altera sua voz em tempo real para bloquear a transcrição por IA: as pessoas ouvem você normalmente e as anotações automáticas não capturam nada aproveitável.
Cekura Bench
Cekura · Voz e linguagem · NegóciosO Cekura Bench é um benchmark público que coloca modelos de fala para fala e agentes já em produção em 82 ligações simuladas, três vezes cada, e publica taxa de acerto, latência e custo por minuto.
Griffin by Tavus
Tavus · Voz e linguagem · Vídeo · ChatbotGriffin by Tavus é o primeiro modelo de interação humana: um sistema de vídeo para vídeo, full-duplex, que observa, escuta e responde durante uma chamada de vídeo com IA em tempo real.