Cognitora

Cognitora ne remplace pas votre moteur d'inférence, il en coordonne plusieurs en un seul cluster. Tout backend exposant la surface HTTP d'OpenAI peut rejoindre la flotte, et le projet fournit des drivers pour vLLM, SGLang, llama.cpp, MLX et TensorRT-LLM. Le matériel mixte est la norme. Vous pouvez donc faire tourner un nœud NVIDIA sous vLLM à côté d'un Mac Studio sous MLX et continuer à les traiter comme une seule flotte.

Le routeur suit l'emplacement des caches KV et place chaque requête en conséquence. Si un nœud détient déjà le contexte d'un prompt répété, la requête y va au lieu de déclencher un nouveau prefill ailleurs. C'est toute l'astuce. Pourquoi est-ce important ? Pour les charges de chat et d'agents avec de longs prompts système partagés, c'est la fonction qui réduit le plus directement le calcul gaspillé. Et cela s'accumule vite.

Cognitora est bâti autour de la séparation du prefill et du decode sur des pools différents. Vous pouvez dédier certaines machines au traitement des prompts et d'autres à la génération de tokens, puis laisser le routeur et le cache KV déplacer le travail entre elles. Séparez les phases. Le projet prend aussi en charge un stockage KV à plusieurs niveaux, en RAM et sur SSD, pour de plus grands caches.

Tout le système s'installe sous forme de six binaires statiques avec une seule ligne curl et tourne sous systemd, sans aucun plan de contrôle Python dans la boucle. Voilà le cluster LLM bare metal en une phrase. Vous n'ajoutez l'opérateur Kubernetes que lorsque vous voulez vraiment une orchestration au niveau des pods, donc deux machines de bureau constituent une cible légitime.

Le dépôt livre un tableau de bord autonome sous forme d'un seul fichier HTML statique qui lit directement les endpoints /metrics de Prometheus. Il affiche les requêtes par seconde en direct, les tokens par seconde, la latence et les percentiles de TTFT, la profondeur de file, l'état de chaque nœud, l'utilisation du cache KV, la puissance de la flotte et l'énergie par token. Pas de Grafana. Pas de backend.

Cognitora intègre la puissance dans les décisions de placement et rapporte l'énergie par token pour toute la flotte. Sur un ensemble mixte de GPU, cela permet à l'opérateur de voir quels nœuds fournissent le plus de tokens par watt et d'y orienter le travail. La puissance, c'est de l'argent. Cela compte quand vous payez vous-même la facture d'électricité.

Le projet vit sur GitHub dans un dépôt actif, donc chaque décision de routage, chaque driver et chaque option de configuration reste ouvert à l'examen. Il fonctionne comme un serveur d'inférence entièrement open source. Les équipes qui ne peuvent pas faire passer leur trafic d'inférence par un service tiers fermé peuvent lire le code, le forker et exploiter tout le plan de contrôle comme une flotte IA auto-hébergée.