Together AI

O Together AI hospeda um catálogo amplo de modelos de código aberto, de modelos de chat e raciocínio a modelos de visão, imagem, áudio e embeddings. Você chama qualquer um deles por uma única API e paga por milhão de tokens, então não há capacidade a provisionar de antemão. Isso facilita testar uma dúzia de modelos na sua tarefa antes de escolher um.

O endpoint segue o mesmo formato de requisição da OpenAI, o que significa que o código existente costuma funcionar depois de trocar a URL base e a chave. Na prática, é o mesmo formato de API de LLM que você já conhece. Há SDKs para Python e JavaScript, e a API de lotes permite enfileirar trabalhos grandes a um preço menor. Para equipes que já constroem sobre ferramentas no estilo OpenAI, a troca é quase toda configuração.

Quando a latência sem servidor não é constante o bastante, você pode mover um modelo para um endpoint dedicado com taxa de transferência garantida. Isso serve a apps de produção em que os tempos de resposta precisam se manter estáveis sob carga. Você troca a flexibilidade do pagamento por token por capacidade reservada e desempenho previsível.

Você pode ajustar modelos compatíveis com seus próprios dados e depois servir a versão ajustada pela mesma conta. Isso é útil quando um modelo base conhece o idioma mas não o seu domínio, o seu tom ou as suas regras de formatação. Como o treinamento e a inferência ficam juntos, você não precisa mover pesos entre fornecedores.

O Together AI aluga clusters de GPU bare-metal com hardware NVIDIA H100, H200, B200 e GB200, conectados por InfiniBand para trabalhos distribuídos. Você pode escalar de um punhado de GPUs a milhares e desligá-las quando a execução termina. A nova capacidade B200 está disponível sob demanda, o que importa quando você precisa testar uma ideia sem uma reserva longa.

Além de texto, a plataforma cobre geração de imagens, áudio, vídeo, transcrição e reranking. Uma equipe que constrói um produto multimodal pode tirar várias capacidades de um só fornecedor e uma só conta de cobrança. Isso reduz o número de contratos, chaves e painéis a gerenciar.

Os preços são listados por modelo, com tarifas separadas de entrada, saída e entrada em cache, e um nível de lotes mais barato para trabalho não urgente. O preço de entrada em cache pode cortar custos de forma acentuada em prompts repetidos. Você pode estimar o gasto por recurso antes de se comprometer com um fornecedor. Sem ligação de vendas.