Shortest
Antiwork · Programmation
Shortest est un framework de tests IA open source qui transforme des descriptions en langage naturel en tests end-to-end dans le navigateur. Il s'appuie sur Playwright et tourne avec votre propre clé API Anthropic.
À propos de Shortest
About
Qu'est-ce que Shortest
Shortest est un framework d'automatisation de tests gratuit et open source édité par Antiwork, la société derrière Ducky et Kangaroo. Au lieu d'écrire des sélecteurs et des assertions étape par étape, vous décrivez ce qu'un utilisateur devrait faire dans une phrase normale. L'IA se charge des clics, de la saisie et des vérifications.
L'outil vise à réduire le temps que les équipes QA et les développeurs solo passent à entretenir des scripts de test fragiles. Quand un bouton bouge ou qu'un libellé change, un test Playwright classique casse et quelqu'un doit réparer le sélecteur. Shortest s'appuie sur un modèle d'IA qui lit la page et s'adapte, si bien que beaucoup de petits changements d'interface cessent de casser votre suite.
Le hic, c'est que Shortest n'est pas un service cloud hébergé. C'est un outil en ligne de commande que vous installez dans votre projet, et il lui faut son propre modèle d'IA pour raisonner. Ce modèle, c'est Claude d'Anthropic, et vous payez ces appels vous-même.
Démarrage
- Lancez
npx @antiwork/shortest initdans votre projet. La commande installe le paquet en dépendance de développement, crée un fichiershortest.config.tset ajoute un.env.localpour vos clés. - Ajoutez votre clé API Anthropic dans
.env.local. Shortest la lit dans la variableANTHROPIC_API_KEY. - Renseignez votre
baseUrldans le fichier de config pour que les tests sachent quel site ouvrir. - Créez un fichier de test conforme au motif de votre config, puis écrivez un test sous la forme d'une seule phrase en anglais.
- Lancez
pnpm shortestpour exécuter tous les tests, ou passez un nom de fichier pour n'en lancer qu'un.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Shortest.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Petites équipes de dev sans ingénieur QA dédié
- Ingénieurs QA lassés des sélecteurs fragiles
- Contributeurs open source et bidouilleurs
Tâches
- Tester un parcours de connexion ou d'inscription
- Vérifier des réponses d'API
- Lancer des contrôles de non-régression en CI
Cas d'usage
- Une startup qui livre chaque semaine et casse sans cesse sa suite tenue par une seule personne
- Une équipe qui évalue le QA par IA avant d'engager un budget
Fonctionnalités clés
Des tests écrits en langage naturel
L'idée centrale, c'est une seule phrase lisible à la place d'un script. Vous écrivez quelque chose comme « Login to the app using email and password », vous passez vos identifiants, et Shortest fait le reste. Un nouveau collègue peut donc lire un test et comprendre ce qu'il vérifie sans décoder des sélecteurs. Cela abaisse aussi la barre pour écrire son premier test end-to-end.
Bâti sur Playwright
Shortest pilote un vrai navigateur Chromium via Playwright, le même moteur que celui derrière de nombreuses suites professionnelles. Vous gardez les options de navigateur de Playwright et pouvez passer des contextes personnalisés dans votre config. Comme il hérite de cette base, l'outil s'intègre aux projets JavaScript et TypeScript existants au lieu de vous imposer une nouvelle pile.
Raisonnement avec Anthropic Claude
La couche de raisonnement tourne sur les modèles Claude d'Anthropic via le AI SDK. Shortest lit la page, planifie les étapes et décide si le résultat correspond à ce que vous avez décrit. Vous pouvez le pointer vers une autre clé ou un autre fournisseur via le bloc ai.config, mais le chemin par défaut suppose votre propre compte Anthropic et votre clé API.
Chaînage de tests et hooks de cycle de vie
Vous pouvez regrouper des parcours liés en une chaîne, si bien qu'une étape de connexion alimente une série d'actions qui suivent. Les hooks de cycle de vie comme beforeAll et afterEach vous laissent connecter un utilisateur, vider l'état ou fermer la page autour de chaque test. Cela rend les parcours réutilisables vraiment pratiques : vous écrivez la séquence de connexion une fois et la réutilisez dans de nombreux tests.
Tests d'endpoints d'API
Shortest ne se limite pas à cliquer dans un navigateur. Vous pouvez décrire un appel d'API en langage naturel, ou monter une requête avec méthode, URL et paramètres de requête, et laisser l'IA confirmer que la réponse est correcte. Les équipes qui testent à la fois l'interface et le backend n'ont qu'un seul outil au lieu de deux.
Des commandes CLI pour tout le flux
Au-delà de l'exécution des tests, Shortest fournit des commandes pour planifier, générer et analyser vos tests depuis le terminal. Vous pouvez lancer un fichier, un test précis par numéro de ligne, ou toute la suite en mode headless pour la CI. Cette étendue couvre la configuration, l'écriture et l'exécution sans quitter la ligne de commande.
Avantages et inconvénients
Avantages
- Libre et open source sous licence MIT, donc aucune souscription pour l'essayer.
- Les tests en langage naturel sont bien plus faciles à lire et à transmettre que des scripts à sélecteurs.
- L'IA s'adapte aux petits changements d'interface, ce qui réduit la taxe de maintenance qui mine les suites Playwright.
- Tourne sur Playwright, donc s'intègre aux projets JavaScript et TypeScript existants.
- Couvre à la fois les parcours navigateur et les vérifications d'API dans un seul framework.
Inconvénients
- L'usage de l'IA se paie à part et chaque exécution consomme des tokens de l'API Anthropic, donc une grosse suite finit par coûter cher.
- C'est un outil en ligne de commande sans configuration guidée au-delà du fichier de config, il suppose donc une certaine aisance en développement.
- Le résultat dépend de la bonne lecture de la page par l'IA, et une phrase ambiguë peut mener à une étape inattendue.
- Il n'y a ni tableau de bord hébergé ni option de cloud géré ; la config, les secrets et le câblage CI sont à votre charge.
Questions fréquentes
Shortest est un framework de tests IA pour écrire et exécuter des tests end-to-end en langage naturel. Il automatise des parcours navigateur, comme la connexion ou la finalisation d'un achat, et peut aussi vérifier des réponses d'API.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Shortest.
Alternatives à Shortest
Forefront
Forefront · ProgrammationForefront est une plateforme web pour construire avec de l'IA open source. Elle vous laisse affiner les principaux modèles de langage open source sur vos propres données, évaluer leurs performances et les exécuter via une API ou les exporter pour les héberger vous-même. Les développeurs qui veulent le confort d'une plateforme fermée mais tiennent à rester propriétaires de leurs modèles et de leurs données sont le public visé ici.
Startkit
StartKit.AI · ProgrammationStartkit est un boilerplate pour créer des produits SaaS d'IA et des wrappers d'IA. Voyez-le comme un boilerplate de startup IA avec les parties ennuyeuses déjà branchées : authentification, paiements Stripe et Lemon Squeezy, limites d'usage, e-mail transactionnel et un kit de démarrage d'API IA qui parle à OpenAI, Anthropic, Groq ou Llama. Vous clonez le dépôt, fixez votre prix et attaquez la partie du produit pour laquelle les gens paient vraiment. Il repose sur Next.js au-dessus de React et Tailwind, donc une bonne partie du code boilerplate vous semble déjà familière.
Testim
Tricentis · ProgrammationTestim est une plateforme d'automatisation des tests dopée à l'IA, qui sert à créer et exécuter des tests de bout en bout sur des applications web, mobiles et Salesforce. Elle s'appuie sur l'apprentissage automatique pour garder les tests stables quand une interface change, alors les équipes passent moins de temps à réparer des sélecteurs cassés. Pas mal pour un outil de tests automatisés que vous pouvez utiliser dès aujourd'hui. Vous créez des tests en enregistrant des actions dans un navigateur, puis vous ajoutez du JavaScript quand vous avez besoin de plus de contrôle. C'est un choix solide pour une équipe QA bien occupée.