Relari: Testing and Simulation Stack for GenAI Systems
Relari, Inc. · Coding · Chatbot
Relari ist eine Test- und Simulationsplattform für GenAI-Systeme: synthetische Testdaten und modulare Metriken zur LLM-Bewertung zeigen Fehler, bevor Nutzer sie finden.
Über Relari: Testing and Simulation Stack for GenAI Systems
About
Was ist Relari
Relari ist ein Test- und Simulationsstack für GenAI-Anwendungen, gebaut von Relari, Inc., einem Startup aus dem Winter-2024-Batch von Y Combinator. Der Gedanke dahinter ist schnell erklärt. Teams für autonomes Fahren warten nicht auf einen Unfall auf der echten Straße, um einen Fehler zu finden, sie fahren Millionen simulierte Kilometer. Relari überträgt das auf LLM-Anwendungen: Verkehr erzeugen, die Pipeline dagegen laufen lassen, bewerten, was bricht.
Das Produkt deckt drei Aufgaben ab, die sonst in getrennten Werkzeugen stecken. Es baut synthetische Testsets, die das Verhalten echter Nutzer nachahmen, bewertet jedes Modul einer Pipeline mit Open-Source-Metriken und beobachtet den Produktionsverkehr auf Qualitätseinbrüche. Die offene Hälfte dieses Stacks, continuous-eval, ist ein Python-Paket unter Apache 2.0 mit über 30 Metriken für Retrieval, Generierung, Code, Klassifikation und Tool-Nutzung von Agenten. Installation per pip, Betrieb ohne Zahlung an Relari.
Die Grenzen wiegen so schwer wie die Funktionen, denn Tests für generative KI decken nur ab, was Sie selbst definieren. Wer LLM-Evaluierung ernst nimmt, braucht ein Set, das zur eigenen Anwendung passt. Relari setzt voraus, dass Sie bereits eine Pipeline haben und wissen, was eine richtige Antwort ist, denn ein in natürlicher Sprache geschriebener Vertrag braucht noch immer jemanden, der ihn formuliert. Teams ohne gelabelte Beispiele oder Produktionsfeedback holen aus den eigenen Evaluatoren weniger heraus. Auch die gehostete Plattform wird nicht mehr beworben: Das Unternehmen hat seinen öffentlichen Fokus auf Agenten-Werkzeuge verlegt, und relari.ai liefert das Evaluierungsprodukt nicht mehr aus. Das Open-Source-Paket liegt weiter auf GitHub und PyPI, letzte Version v0.3.14 im Januar 2025.
Erste Schritte
- Legen Sie ein kostenloses Konto auf der Relari-Plattform an, oder überspringen Sie die Anmeldung und installieren Sie continuous-eval per pip, wenn Sie nur lokal bewerten wollen.
- Beschreiben Sie Ihre Pipeline als verbundene Module und ordnen Sie Ein- und Ausgabe jedes Schritts zu, damit der Runner weiß, wo die Metriken hängen.
- Wählen Sie Metriken pro Modul, etwa Precision und Recall für den Retriever und Antwortkorrektheit für den letzten LLM-Aufruf.
- Erzeugen Sie ein synthetisches Testset aus Ihren Dokumenten oder Beispielfragen, starten Sie die Auswertung und lesen Sie die Punkte pro Modul.
- Legen Sie Schwellenwerte als Tests fest und hängen Sie den Lauf in Ihre Release-Checkliste, damit eine Regression den Deploy blockiert.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Relari: Testing and Simulation Stack for GenAI Systems.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- KI-Ingenieure, die LLM-Apps bauen
- RAG-Entwickler
- QA- und Plattformteams in größeren Firmen
- Forschende und Studierende
Aufgaben
- Ein Golden Dataset ohne Handarbeit aufbauen
- Den fehlerhaften Schritt in einer falschen Antwort finden
- Einen Agenten vor dem Start unter Druck setzen
- Eine Qualitätsschwelle in der CI verankern
Szenarien
- Ein Support-Bot beantwortet Rückerstattungsfragen nach einer Prompt-Änderung falsch
- Ein Compliance-Copilot muss belegen, dass er die richtige Richtlinie zitiert
- Ein Team für Unternehmenssuche will weniger Halluzinationen
Wichtigste Funktionen
Bewertung auf Modulebene
Relari behandelt die Anwendung als Graph aus Modulen, nicht als eine große Blackbox. Sie deklarieren Retriever, Reranker und Generator getrennt, hängen unterschiedliche Metriken an jedes Modul, und der Runner liefert Punkte pro Knoten. Ist eine Antwort falsch, zeigt die Anzeige den Schritt, der versagt hat, statt das Ganze zu beschuldigen. Das ist der Unterschied zwischen einer Zahl, nach der man handelt, und einer Zahl, über die man diskutiert.
Über 30 Open-Source-Metriken
Die Bibliothek continuous-eval bringt Metriken für Retrieval, Textgenerierung, Codegenerierung, Klassifikation und Tool-Nutzung von Agenten mit. Deterministische Prüfungen, semantische Ähnlichkeit und LLM-basierte Bewertung laufen im selben Durchgang, also lässt sich ein billiger Exact Match mit einem modellbewerteten Kriterienkatalog mischen. Eigene Metriken nehmen Kriterium, Bewertungsraster und typisierte Argumente, genug für einen Judge für fast jede Regel, die Sie aufschreiben können.
Synthetische Testdaten
Öffentliche Benchmarks sind verseucht und passen selten zur eigenen Domäne, und Handarbeit dauert. Der Kern ist schnell gesagt: synthetische Daten zum Testen von LLMs statt eines geliehenen Evaluierungssets. Relari erzeugt Testsets aus Ihren Dokumenten und Beispielinteraktionen, inklusive adversarischer Prompts und Randfälle. Das Verkaufsargument ist Abdeckung: Tausende realistische Anfragen an einem Nachmittag statt vierzig handverlesener Fragen.
Evaluatoren mit menschlicher Ausrichtung
Generische Judges sind anderer Meinung als Ihre Nutzer. Relari trainiert eigene Evaluatoren auf Ihren Feedbackdaten und nennt in der eigenen Forschung über 90 Prozent Übereinstimmung mit menschlichen Bewertern. Diese Evaluatoren benoten dann neue Ausgaben, womit sich der Kreis zwischen Beschwerden aus der Produktion und Ihrer Offline-Suite schließt.
Agentenverträge und Verhaltensvorgaben
Spätere Versionen der Plattform gingen Richtung Verträge: kurze Sätze in natürlicher Sprache dazu, was ein Agent tun darf und was nicht. Ein Vertrag macht aus vager Absicht prüfbares Verhalten, sodass Tests für KI-Agenten auch Ablehnungen, Ton und Rahmen abdecken und nicht nur die Frage, ob die letzte Antwort plausibel klingt. Es ist die interessanteste Idee im Stack und die am schlechtesten dokumentierte.
Produktionsmonitoring und Rückkopplung
Offline-Punkte entfernen sich von der Realität, sobald echter Verkehr ankommt. Das Monitoring von Relari zieht Stichproben aus laufenden Gesprächen, bewertet sie mit denselben Metriken und gibt die Fehler ins Testset zurück. Teams, die diese Schleife am Laufen halten, bekommen eine Suite, die mit dem Produkt altert, statt zu verstauben.
Vor- und Nachteile
Vorteile
- Der Open-Source-Kern ist wirklich kostenlos und permissiv lizenziert, Sie können eine Pipeline also heute bewerten und später über den bezahlten Tarif entscheiden.
- Die Bewertung pro Modul beantwortet die Frage, die die meisten Teams tatsächlich stellen: woher der Fehler kam, nicht ob die Antwort gut war.
- Die Breite der Metriken deckt RAG-Evaluierung, Code und Tool-Nutzung von Agenten in einer Bibliothek ab, was das Zusammenschalten von drei Werkzeugen spart.
- Der Generator für synthetische Daten nimmt den langsamsten Teil eines Evaluierungs-Workflows ab, nämlich ein paar hundert realistische Fragen zu finden.
Nachteile
- Die gehostete Plattform ist derzeit schwer zu kaufen. Das Unternehmen hat seine öffentliche Aufmerksamkeit auf Agenten-Werkzeuge verlegt und die Preisseite ist verschwunden, Sie arbeiten also mit dem offenen Paket und der Dokumentation.
- Eigene Evaluatoren brauchen Ihre Feedbackdaten. Ohne gelabelte Beispiele aus der Produktion bleiben die Zahlen zur menschlichen Übereinstimmung für Ihren Fall Theorie.
- Der Aufbau verlangt echte Ingenieursarbeit. Eine Pipeline in Module zu zerlegen und sinnvolle Schwellen zu setzen dauert einen Tag, nicht einen Klick, und kleine Prototypen rechtfertigen das selten.
- Die Dokumentation hinkt dem Produkt hinterher. Manche neueren Ideen, besonders die Verträge, versteht man besser aus Blogposts und dem YC-Launch-Thread als aus der Referenz.
Häufige Fragen
Relari simuliert, testet und bewertet GenAI-Anwendungen. Es erzeugt synthetische Eingaben, die Nutzer nachahmen, lässt Ihre Pipeline dagegen laufen und liefert Punkte pro Modul, sodass Sie sehen, ob eine schlechte Antwort aus Retrieval, Ranking oder Generierung kam.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Relari: Testing and Simulation Stack for GenAI Systems.
Alternativen zu Relari: Testing and Simulation Stack for GenAI Systems
Base Code
Base44 (Wix) · Coding · ProduktivitätBase Code ist eine geteilte Cloud-Entwicklungsumgebung von Base44. Das Team beschreibt Änderungen an einem bestehenden GitHub-Repository im Chat, prüft sie in der Vorschau und reicht sie als Pull Request ein.
Google EmbeddingGemma 2
Google DeepMind · Schreiben · Bilder · CodingGoogle EmbeddingGemma 2 ist ein offenes Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Videobilder in Vektoren eines gemeinsamen 768-dimensionalen Raums umwandelt und auf Handys und Notebooks läuft.
GitGlow
GitGlow · Coding · ProduktivitätGitGlow ist ein Git-Client für den Desktop, der Ihren Code und die Änderungen Ihrer KI-Agenten in einer Review bündelt, damit Sie vor dem Ausliefern sehen, was die Maschine verlässt.