RunAnywhere

Sous toutes les variantes se trouve un seul cœur en C++, donc le comportement reste identique que vous compiliez pour Swift, Kotlin, React Native, Flutter, Web ou Electron. Chaque langage reçoit une enveloppe native autour de ce cœur, et tous les SDK accrochent les mêmes espaces de noms à un point d'entrée RunAnywhere. Un appel se lit presque de la même façon partout, donc vous ne réapprenez pas l'API à chaque plateforme.

L'API s'organise en espaces de noms qui couvrent bien plus que le texte. Il y a llm pour la génération et le streaming, stt et tts pour la voix, voice pour une conversation parlée complète, vlm pour image plus prompt, rag pour la recherche sur vos documents et, à côté, embeddings, rerank, lora, images, diarization et segmentation. Un seul paquet expose tout, et vous ajoutez les briques dont vous avez besoin.

RunAnywhere ne se contente pas du processeur. Les backends incluent le SDK llama.cpp pour la langue et la vision, ONNX et Sherpa pour la voix, Apple MLX, Apple Neural Engine via MetalRT et les NPU Qualcomm Hexagon via QHexRT. Sur un M4 Max, l'entreprise mesure 658 tokens par seconde en décodage de LLM et 101 millisecondes de latence en voix vers texte, ses propres chiffres sur l'appareil. Le hic, c'est la couverture : MLX ne tourne jamais sur un simulateur et QHexRT ne vise que les puces Snapdragon arm64.

L'inférence tourne sur l'appareil et rien n'en sort sauf si vous le demandez. Les prompts, l'audio et les images restent en mémoire locale, ce qui explique qu'une app sensible à la vie privée préfère cette IA privée à une API dans le cloud. La voie hébergée existe pour les modèles trop gros pour un portable, mais c'est un choix à part que vous faites exprès. Par défaut, les données restent chez vous, et l'option est explicite.

La ligne de commande wally fait double emploi. En local, elle télécharge un modèle, comme le qwen3-0.6b d'environ 640 Mo, et le lance hors ligne sans compte. Pointée vers le cloud, elle atteint des modèles ouverts de pointe sur le matériel de RunAnywhere via une API compatible OpenAI, facturée en crédits prépayés. Vous pouvez aussi servir un modèle téléchargé sur une URL locale compatible OpenAI. Le même outil couvre les deux extrémités de la plage de tailles.

Le SDK indique ce qu'un appareil donné peut réellement faire. Appelez RunAnywhere.capabilities() et vous obtenez les backends enregistrés et une liste de l'indisponible, de quoi masquer une fonction avant que l'utilisateur ne tombe dessus. L'espace de noms models gère l'enregistrement, le téléchargement, le chargement et le déchargement des poids. C'est de la plomberie peu glorieuse, mais c'est ce qui empêche une compilation de proposer la voix sur un matériel qui ne l'aurait jamais exécutée.