BrowserAI

BrowserAI charge les modèles directement dans le navigateur via WebGPU et WebAssembly, donc l'inférence se fait sur le matériel de l'utilisateur. La bibliothèque fournit des poids prêts à l'emploi des familles Llama, Qwen, Gemma, SmolLM2, Phi et DeepSeek, ainsi que des modèles d'embeddings pour la recherche. Vous appelez loadModel avec un nom et un réglage de quantification, et la bibliothèque s'occupe du reste. Sur une machine compatible, les réponses reviennent à une vitesse quasi native parce que le GPU fait le gros du travail.

La voix fait partie du cœur de la bibliothèque, pas d'un bonus. Un modèle Whisper transcrit l'audio enregistré, et Kokoro transforme le texte en tampon audio lisible, avec un choix de voix et de vitesse. L'enregistreur intégré capte le micro, donc vous montez un assistant vocal sans ajouter un service tiers au milieu. Comme les deux tournent en local, l'audio reste sur l'appareil comme le texte.

Au lieu d'analyser du texte libre en espérant le meilleur, vous passez un schéma JSON et demandez un objet JSON. Le modèle renvoie des données conformes à ce schéma, qui entrent directement dans votre application. Cela compte pour les agents et les formulaires, où une réponse mal formée casserait le flux. Le résultat est un objet propre que vous validez et stockez.

La bibliothèque ne vous enferme pas dans un seul moteur. Elle bascule entre les moteurs MLC, Transformers, Flare et Demucs, chacun adapté à une tâche. MLC et Flare couvrent la génération de texte via WebGPU et WASM, Transformers gère la voix et la parole, et Demucs sépare l'audio en pistes. L'API reste la même entre eux, donc changer de moteur n'oblige pas à réécrire le code.

Faire tourner un modèle peut figer un onglet s'il accapare le fil principal, et BrowserAI l'évite en exécutant l'inférence dans un Web Worker. L'interface reste réactive pendant que le modèle réfléchit, et la sortie arrive jeton par jeton pour que l'utilisateur voie l'avancée. Un Web Worker avec streaming transforme un modèle local lourd en quelque chose qui ressemble à un site ordinaire.

BrowserAI inclut une base de données dans le navigateur fondée sur IndexedDB et SQLite, qui garde les conversations, les embeddings et les fichiers de modèle en cache. Ce stockage permet à la page de continuer à fonctionner après le premier téléchargement, même sans internet. Dans une application de chat, l'historique survit à un rafraîchissement sans serveur avec lequel synchroniser.