Nexa SDK
Nexa AI · Programação
O Nexa SDK é um framework de inferência de IA no dispositivo de código aberto da Nexa AI que roda modelos de texto, imagem e áudio direto no seu hardware, não na nuvem. Ele suporta backends de CPU, GPU e NPU em Windows, macOS, Linux, Android e iOS, e traz um servidor de API compatível com OpenAI para que apps existentes apontem para ele com pouquíssima mudança no código. Pense nele como um framework de IA local. Os desenvolvedores o escolhem quando precisam de inferência de IA local que continue rápida, funcione offline e mantenha os dados do usuário no dispositivo.
Sobre Nexa SDK
O que é o Nexa SDK
O Nexa SDK é um framework de inferência criado pela Nexa AI, uma equipe do Vale do Silício que hoje trabalha lado a lado com a Qualcomm em IA de borda. A ideia é simples. Em vez de mandar cada prompt para um servidor remoto, você roda o modelo no celular, no notebook ou na placa IoT que está na sua frente.
Essa abordagem resolve três problemas que aparecem repetidas vezes em implantações de borda. Chamadas à nuvem exigem conexão estável, então dispositivos offline ficam travados. Dados sensíveis saem do dispositivo, o que descarta muitos casos de uso em saúde, finanças e empresas. E a latência de ida e volta atrapalha trabalho em tempo real, como transcrição ao vivo.
O preço disso é o hardware. O Nexa SDK tira sua velocidade da aceleração, e os maiores ganhos vêm de uma NPU, que muitos dispositivos antigos não têm. Só com CPU, modelos grandes rodam mais devagar, e a memória local limita o tamanho do modelo que você pode carregar. Isso significa que celulares antigos estão fora? Não exatamente. Você só precisa dimensionar o modelo ao dispositivo. Se o seu alvo é um Snapdragon recente, um Apple Silicon ou um AI PC com Intel/AMD, você verá o framework na sua melhor forma.
Como começar
- Instale a CLI. No Windows ARM64 pegue o instalador, no macOS use o pkg e no Linux rode o script de instalação de uma linha.
- Baixe um modelo do Hugging Face. Os formatos GGUF, MLX e o próprio .nexa da Nexa AI funcionam, e você pode começar com algo pequeno como uma build GGUF do Qwen3.
- Rode localmente com um único comando, por exemplo
nexa inferseguido do nome do repositório do modelo. - Escolha seu backend (NPU, GPU ou CPU) conforme o que o dispositivo tem e teste a taxa de transferência antes de publicar.
- Aponte seu app para o servidor compatível com OpenAI que vem incluído se você já tem código escrito para essa API.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Nexa SDK.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Desenvolvedores mobile e de borda
- Equipes focadas em privacidade
- Entusiastas e pesquisadores de IA
Tarefas
- Chat e geração local
- Raciocínio multimodal
- Fala e transcrição
- Chamada de funções em agentes
Cenários
- Criar um recurso de IA offline
- Cortar custos de inferência na nuvem
- Implantação em automotivo e IoT
Principais recursos
Vários formatos de modelo num único runtime
O Nexa SDK lê GGUF, MLX e o próprio formato .nexa da Nexa AI, então você não fica preso a uma única fonte de modelos. O GGUF funciona em Windows, Linux e macOS, enquanto o MLX mira o Apple Silicon. Essa flexibilidade significa que você pode baixar quase qualquer modelo recente do Hugging Face e rodá-lo sem procurar uma build especial.
Aceleração com a NPU em primeiro lugar
O framework trata a NPU como motor principal e recorre à GPU ou à CPU quando precisa. Em hardware Qualcomm, os próprios testes da Nexa AI mostram um modelo Granite pequeno atingindo 92 tokens por segundo na NPU contra 40 na CPU, com até 9 vezes melhor eficiência energética. É uma diferença enorme. Ela aparece como respostas mais rápidas e mais bateria nos dispositivos que as pessoas realmente carregam.
Servidor de API compatível com OpenAI
O SDK inclui um servidor que fala a API da OpenAI, com streaming e chamada de funções baseada em esquema JSON. Se você já construiu contra essa interface, pode redirecionar seu app para o servidor local e manter quase todo o seu código. É o caminho mais curto da inferência na nuvem para a inferência no dispositivo. Sem reescrever nada.
Suporte a modelos desde o dia 0
Modelos abertos novos chegam ao framework logo após o lançamento, não um ano depois, que é uma lacuna conhecida em muitas cadeias de ferramentas NPU. A Nexa AI curadoria sua própria coleção para os melhores resultados, e o modelo OmniNeural-4B da equipe foi criado especificamente para lidar com texto, imagens e áudio em NPUs.
Cobertura multiplataforma e multibackend
Uma base de código alcança Windows ARM64, macOS, Linux ARM64, Android e iOS, com backends CUDA, Metal, Vulkan e NPU da Qualcomm. Sem runtime separado por fabricante de chip. Os desenvolvedores escolhem um backend e mantêm o mesmo código de inferência entre dispositivos.
Suporte multimodal e de fala
Além dos LLMs de texto, o SDK cobre modelos de visão e linguagem, reconhecimento automático de fala, texto para fala e embeddings. A CLI ainda tem um modo /mic para transcrever fala ao vivo no terminal. Útil para testes rápidos. Você pode experimentar um recurso antes de ligá-lo a um app.
Prós e contras
Prós
- Roda inteiramente no dispositivo, então prompts e mídia nunca saem do hardware.
- Um único runtime abrange Windows, macOS, Linux, Android e iOS com backends NPU, GPU e CPU.
- O servidor compatível com OpenAI deixa apps baseados na nuvem trocar com mudanças mínimas.
- Gratuito e de código aberto, sem custo por token depois que o modelo está local.
- Forte suporte de NPU em hardware Qualcomm, onde os ganhos de eficiência são maiores.
Contras
- O melhor desempenho depende de uma NPU, então dispositivos antigos ou baratos recorrem à inferência de CPU, mais lenta.
- A memória local limita o tamanho do modelo, ou seja, os modelos maiores não cabem em celulares nem em placas de borda pequenas.
- A configuração pende para o técnico. Achar o backend e o formato de modelo certos exige alguma tentativa e erro.
Perguntas frequentes
Ele serve para rodar modelos de IA localmente em celulares, PCs, carros e dispositivos IoT em vez de na nuvem. Desenvolvedores o usam para chat offline, fala no dispositivo, compreensão de imagens e qualquer recurso onde privacidade ou latência importem.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Nexa SDK.
Alternativas a Nexa SDK
Forefront
Forefront · ProgramaçãoO Forefront é uma plataforma web para construir com IA de código aberto. Você ajusta os principais modelos de linguagem de código aberto com seus próprios dados, avalia o desempenho deles e os roda por uma API ou os exporta para hospedar por conta própria. Desenvolvedores que querem a conveniência de uma plataforma fechada, mas fazem questão de ser donos dos modelos e dos dados, são o público-alvo aqui.
Startkit
StartKit.AI · ProgramaçãoStartkit é um boilerplate para criar produtos de SaaS com IA e wrappers de IA. Pense nele como um boilerplate para startups de IA com as partes chatas já conectadas: autenticação, pagamentos com Stripe e Lemon Squeezy, limites de uso, e-mail transacional e um kit inicial de API de IA que conversa com OpenAI, Anthropic, Groq ou Llama. Você clona o repositório, define seu preço e começa pela parte do produto que as pessoas realmente pagam. Ele é feito em Next.js sobre React e Tailwind, então boa parte do código boilerplate já parece familiar.
Testim
Tricentis · ProgramaçãoO Testim é uma plataforma de automação de testes com IA para criar e executar testes de ponta a ponta em aplicações web, mobile e Salesforce. Ele se apoia no aprendizado de máquina para manter os testes estáveis quando uma interface muda, então as equipes gastam menos tempo consertando seletores quebrados. Nada mal para uma ferramenta de testes automatizados que você pode começar a usar hoje. Você cria testes gravando ações no navegador e depois adiciona JavaScript quando precisa de mais controle. É uma escolha sólida para equipes de QA ocupadas.