Foundry

Foundry lässt Agenten gegen simulierte Websites laufen, die echte Seiten nachahmen, ohne die Unvorhersehbarkeit des Live-Webs. Eine Aufgabe scheitert oder besteht aus einem Grund, den Sie untersuchen können. Nicht, weil ein Captcha auftauchte oder eine Seite mitten im Lauf ausfiel. Diese Kontrolle ist der ganze Punkt. Keine instabilen Testläufe, denen man nachjagen muss.

Es gibt eine Reihe von Standardaufgaben, an denen Ihr Agent bewertet werden kann, und sie decken übliche Navigationsarbeiten wie Navigieren, Suchen und Ausfüllen von Formularen ab. Gemeinsame Aufgaben machen Ihre Zahl mit der eines anderen vergleichbar. Das ist der ganze Sinn eines Benchmarks für Browser-Agenten.

Sie binden Foundry über ein Python-SDK in Ihren Workflow ein, also schreiben Sie Ihren Agenten nicht neu, um ihn zu testen. Das SDK übernimmt das Einreichen des Agenten und das Zurückholen der Ergebnisse. Die Einrichtung dauert etwa fünf Minuten, wenn Ihr Agent bereits headless läuft. Kein neuer Stack zu lernen.

Ergebnisse landen in einer Rangliste, sodass Sie sehen, wie Ihr Agent im Vergleich zu anderen abschneidet, die dieselben Aufgaben laufen. Das ist nützlich als kurze Kontrolle und auch, um zu erkennen, welche Aufgaben jeden Agenten ausbremsen, nicht nur Ihren.

Foundry sagt, seine Evaluation von KI-Agenten sei bis zu 10-mal schneller als der Bau eines eigenen Testsetups, vor allem weil Umgebungen und Aufgaben fertig geliefert werden. Schnellere Schleifen bedeuten, dass Sie am selben Nachmittag mehr iterieren. Das zählt, wenn Sie Prompts feinjustieren.

Über die bewerteten Läufe hinaus bezeichnet sich Foundry als Daten- und Simulations-Engine für Web-Agenten. Das Versprechen: realistische, kontrollierbare Umgebungen helfen Ihnen, einen Agenten zu testen und zu verbessern, nicht nur zu benoten. Für Teams mit einer langen Roadmap und einem stetigen Strom von Agenten-Änderungen, die validiert werden müssen, ist dieses breitere Versprechen das stärkere Verkaufsargument.