Together AI

Together AI héberge un large catalogue de modèles open source, des modèles de chat et de raisonnement aux modèles de vision, d'image, d'audio et d'embeddings. Vous appelez n'importe lequel via une seule API et payez au million de tokens, donc aucune capacité à provisionner en amont. Cela facilite le test d'une douzaine de modèles sur votre tâche avant d'en choisir un.

L'endpoint suit la même forme de requête que celle d'OpenAI, ce qui signifie que le code existant fonctionne souvent après avoir changé l'URL de base et la clé. Concrètement, c'est la même forme d'API de LLM que vous connaissez déjà. Des SDK sont disponibles pour Python et JavaScript, et l'API batch permet de mettre en file de gros travaux à un prix inférieur. Pour les équipes qui construisent déjà sur des outils de style OpenAI, le basculement tient surtout à la configuration.

Quand la latence sans serveur n'est pas assez constante, vous pouvez déplacer un modèle vers un endpoint dédié au débit garanti. Cela convient aux apps en production dont les temps de réponse doivent rester stables sous charge. Vous échangez la souplesse du paiement au token contre de la capacité réservée et des performances prévisibles.

Vous pouvez affiner les modèles pris en charge sur vos propres données, puis servir la version affinée depuis le même compte. C'est utile quand un modèle de base connaît la langue mais pas votre domaine, votre ton ou vos règles de mise en forme. Comme l'entraînement et l'inférence cohabitent, vous n'avez pas à déplacer les poids entre fournisseurs.

Together AI loue des clusters GPU bare-metal avec du matériel NVIDIA H100, H200, B200 et GB200, reliés par InfiniBand pour les travaux distribués. Vous pouvez passer de quelques GPU à des milliers et les éteindre à la fin de l'exécution. La nouvelle capacité B200 est disponible à la demande, ce qui compte quand vous voulez tester une idée sans longue réservation.

Au-delà du texte, la plateforme couvre la génération d'images, l'audio, la vidéo, la transcription et le reranking. Une équipe qui construit un produit multimodal peut tirer plusieurs capacités d'un seul fournisseur et d'un seul compte de facturation. Cela réduit le nombre de contrats, de clés et de tableaux de bord à gérer.

Les prix sont listés par modèle, avec des tarifs distincts pour l'entrée, la sortie et l'entrée en cache, et un palier batch moins cher pour le travail non urgent. Le prix de l'entrée en cache peut réduire fortement les coûts sur les prompts répétés. Vous pouvez estimer la dépense par fonctionnalité avant de vous engager chez un fournisseur. Sans appel commercial.