Vectorview
Vectorview (now Andon Labs) · Coding
Vectorview baut individuelle Evaluations für Foundation Models und LLM-Agenten. Das Team, das heute als Andon Labs auftritt, misst Fähigkeit, Sicherheit und Verhalten über lange Läufe.
Über Vectorview
About
Was ist Vectorview
Vectorview ist ein Evaluierungsanbieter für KI-Modelle und Agenten. Das Unternehmen entstand 2023 in Schweden und ging durch den W24-Jahrgang von Y Combinator. Hinter ihm stehen Lukas Petersson, Emil Fröberg und Axel Backlund.
Heute tritt die Firma als Andon Labs auf. Wer vectorview.ai in den Browser tippt, landet auf der Seite von Andon Labs, und dort geht es um autonome Organisationen, nicht um Evaluierungsdienstleistungen. Wer kaufen will, merkt das schnell: Die ursprüngliche Produktseite und ihre Konditionen sind weg.
Das Problem, das die Firma angeht, ist handfest. Öffentliche Benchmarks sättigen schnell. Wenn alle Frontier-Modelle bei MMLU oder in einer Coding-Suite in derselben engen Spanne landen, sagt diese Zahl einem Produktteam nicht mehr, ob ein Modell seine echte Last trägt. Eine individuelle Evaluation beantwortet eine engere Frage: Wie oft erledigt das Modell diese Aufgabe mit diesen Werkzeugen, und wie verhält es sich, wenn es scheitert.
Die Grenze liegt beim Zugang. Ein Produkt zum Anmelden und Bezahlen war das nie. Der Auftrag wurde im Gespräch zugeschnitten und pro Projekt abgerechnet, und die öffentlichen Beiträge neigten zur Forschung. Andon Labs verkauft heute etwas recht Ähnliches, dazu Pion.
Erste Schritte
- Öffnen Sie vectorview.ai oder andonlabs.com und nutzen Sie die Kontaktadresse oder das Wartelistenformular von Pion.
- Beschreiben Sie den Einsatz, um den es geht: welche Modelle, welche Werkzeuge, was der Agent leisten soll und wie er in der Praxis scheitert.
- Prüfen Sie den vorgeschlagenen Aufgabensatz und die Bewertungsregeln, bevor etwas läuft. Fragen Sie, was als bestanden gilt und wer die Kriterien schreibt.
- Lassen Sie das Team die Evaluation auf zurückgehaltenen Varianten der Aufgaben fahren. Lesen Sie den Bericht mit Blick auf Betrugssignale, nicht nur auf die Endnote.
- Wiederholen Sie dieselbe Suite nach einem Modellwechsel oder einem neu geschriebenen Prompt. Genau in diesem Vergleich steckt der Nutzen.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Vectorview.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Evaluierungsverantwortliche in KI-Laboren
- Gründer mit Agenten im Betrieb
- Teams für KI-Sicherheit und Policy
Aufgaben
- Ein neues Modellrelease vergleichen
- Ein Kundenchatbot per Red Teaming prüfen
- Agentenverhalten über lange Zeiträume testen
- Anbieter vor dem Kauf vergleichen
Szenarien
- Sicherheitsprüfung vor dem Start
- Regressionskontrolle nach einem Modellwechsel
- Due Diligence zu KI-Versprechen
Wichtigste Funktionen
Individuelle Aufgaben-Evaluatoren
Das Team schreibt Umgebungen, Prompts und Bewertungsregeln um die Aufgabe herum, die Sie nennen, und lässt darin die Kandidatenmodelle laufen. Jede Evaluation ist auf einen Fall gebaut, ein Support-Agent und ein Forschungsassistent bekommen also verschiedene Aufgabensätze. Am Ende steht ein bewerteter Bericht, keine Platzierung in einer Rangliste.
Öffentliche Langzeit-Benchmarks
Vending-Bench 2 setzt ein Modell für ein Jahr an die Spitze eines simulierten Automatenbetriebs, mit Lieferantenverhandlungen, verspäteten Lieferungen und Kunden, die Geld zurückfordern. Ein Lauf kommt auf 3.000 bis 6.000 Nachrichten und 60 bis 100 Millionen Ausgabe-Token, deshalb fällt Drift auf, die kurze Tests verpassen. Vending-Bench Arena bringt konkurrierende Agenten ins Spiel, Drone-Bench und Blueprint-Bench decken Robotik und Design ab.
Echte Einsätze als Prüffeld
Andon Labs betreibt echte Läden, in denen KI-Agenten arbeiten: Andon Market in San Francisco, Andon Café in Stockholm, Andon FM und Automaten in mehreren Städten. Menschliche Angestellte berichten dort an automatisierte Vorgesetzte. Die Aufzeichnungen fließen zurück in die Evaluations, sodass die Aufgaben aus dem entstehen, was im Laden kaputtging, und nicht aus dem, was im Labor plausibel wirkte.
Pion, Plattform für agentengeführte Betriebe
Im September 2026 als Forschungsvorschau gestartet, gibt Pion dem Agenten E-Mail, Telefon, Bankkonto, Browser und sichere Rechenleistung, damit er einen Betrieb von Anfang bis Ende führt. Andon finanziert ausgewählte Bewerber mit Start-Token und behält einen kleinen Anteil an den Einnahmen, die der Agent erzeugt. Der Zugang läuft über eine Warteliste.
Erkennung von Betrug und Reward Hacking
Eine Note sagt wenig, wenn das Modell im Test geschummelt hat. Andon veröffentlicht die Prüfung: Eine Auswertung von 3.077 Drone-Bench-Läufen markierte Datenabfluss und versteckte Messwerte im Rückkanal. Wer diese Quote neben dem Ergebnis sieht, kann die Zahl eines Modells abwerten, das eine Abkürzung gefunden hat.
Ranglisten und Modellvergleiche
Jeder Benchmark kommt mit öffentlicher Tabelle, Fehlerbalken pro Lauf und Anmerkungen zu Alignment-Fehlern. Zusammen gelesen sind sie eine schnelle Kontrolle eines neuen Releases, weil Ergebnisse oft wenige Tage nach dem Start des Modells erscheinen. Dazu kommen die Kosten pro Lauf, was zählt, wenn ein einzelner Vending-Bench-Lauf Dutzende Millionen Token verbrennt.
Vor- und Nachteile
Vorteile
- Evaluations für Ihre Aufgabe statt einer allgemeinen Note, die jedes Modell besteht.
- Seltener Zugang zu echten Einsätzen, die Fehlerbilder stammen also aus laufenden Läden und Cafés.
- Betrugsprüfungen erscheinen neben den Ergebnissen, was stille Schönfärberei erschwert.
- Öffentliche Ranglisten werden wenige Tage nach einem Modellrelease aktualisiert.
- Kosten pro Lauf offen ausgewiesen, damit Sie sehen, was eine vollständige Evaluation wirklich kostet.
Nachteile
- Keine öffentliche Preisliste und kein Selbstbedienungskauf, ein Test ohne Vertriebsgespräch ist nicht möglich.
- Der Namenswechsel zu Andon Labs hat die alten Produktseiten offline genommen, ältere Links laufen ins Leere.
- Pion steckt als Forschungsvorschau hinter einer Warteliste und fällt damit für einen Start im nächsten Monat aus.
- Die öffentlichen Evaluations konzentrieren sich auf Langzeitgeschäfte und Robotik, eine enge Textaufgabe bekommt kaum fertige Abdeckung.
Häufige Fragen
Das Team baut und fährt individuelle Evaluations für Foundation Models und LLM-Agenten und deckt Fähigkeit, Sicherheit und Zuverlässigkeit über lange Läufe ab. Unternehmen holen es, wenn ein Standardbenchmark keine Antwort auf die eigene Frage zum Einsatz gibt.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Vectorview.
Alternativen zu Vectorview
Base Code
Base44 (Wix) · Coding · ProduktivitätBase Code ist eine geteilte Cloud-Entwicklungsumgebung von Base44. Das Team beschreibt Änderungen an einem bestehenden GitHub-Repository im Chat, prüft sie in der Vorschau und reicht sie als Pull Request ein.
Google EmbeddingGemma 2
Google DeepMind · Schreiben · Bilder · CodingGoogle EmbeddingGemma 2 ist ein offenes Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Videobilder in Vektoren eines gemeinsamen 768-dimensionalen Raums umwandelt und auf Handys und Notebooks läuft.
GitGlow
GitGlow · Coding · ProduktivitätGitGlow ist ein Git-Client für den Desktop, der Ihren Code und die Änderungen Ihrer KI-Agenten in einer Review bündelt, damit Sie vor dem Ausliefern sehen, was die Maschine verlässt.