Buildermark
Gelatinous Development · Coding
Buildermark ist ein Open-Source-Messtool mit Local-First-Ansatz, das verfolgt und analysiert, wie viel Ihrer Codebasis von KI-Coding-Agenten generiert wird. Es gleicht die Protokolle Ihres Coding-Agenten mit Git-Commits ab, um jede Zeile zuzuordnen, und zeigt das Ergebnis in dem Moment an, in dem Sie committen. Alles läuft auf Ihrer eigenen Maschine, ohne Konten und ohne Cloud-Synchronisierung.
Über Buildermark
Was ist Buildermark
Buildermark beantwortet eine Frage, die die meisten Teams aufgehört haben, laut zu stellen: Wie viel von diesem Code hat ein Agent wirklich geschrieben? Nennen wir es einen Tracker für KI-Coding-Agenten mit einer einzigen Aufgabe. Das KI-Tool zur Code-Attribution gleicht die Diffs aus Ihren Gesprächen mit dem Coding-Agenten mit den Diffs Ihrer Git-Commits ab und meldet dann den genauen Prozentsatz jedes Commits, der von einem Agenten stammt. Keine Agenten-Hooks. Keine manuelle Kennzeichnung.
Der Reiz liegt darin, dass es Ihnen nicht im Weg steht. Ein lokaler App-Container betreibt einen Go-Server auf localhost:55022 und liefert eine Web-Oberfläche auf Ihrer Maschine aus. Ihre Daten verlassen Ihren Rechner nie, was zählt, wenn Sie an privaten Repos oder unter strengen Compliance-Regeln arbeiten. Für ein Local-First-Entwicklertool ist das der ganze Punkt. Buildermark ist Open-Source-Code-Analyse, die Sie selbst lesen und prüfen können, veröffentlicht unter der MIT-Lizenz.
Die ehrliche Einschränkung ist der Umfang. Die Desktop-App benötigt macOS 15 oder Windows 10, und Linux-Nutzer bekommen nur eine CLI. Der Team Server, der diese Zahlen organisationsweit zusammenfassen würde, steht noch auf der Warteliste, nicht verfügbar. Wenn Sie heute teamübergreifende Dashboards brauchen, ist Buildermark noch nicht so weit. Keine Organisationsansicht. Noch nicht.
Erste Schritte
- Laden Sie die Desktop-App für macOS oder Windows herunter, oder installieren Sie die Linux-CLI.
- Lassen Sie Buildermark Ihre Agentengespräche automatisch importieren, und fügen Sie Pfade zu freigegebenen Ordnern hinzu, wenn Sie Verlauf aus VMs oder Containern beziehen.
- Lassen Sie es Ihren Git-Verlauf laden, damit es Commits zum Abgleichen hat.
- Prüfen Sie die Agenten-Attributionsprozentsätze pro Commit, oder öffnen Sie die Web-Oberfläche auf localhost:55022 für die ausführlichere Aufschlüsselung.
- Bewerten Sie optional die Agentengespräche selbst, oder lassen Sie den Agenten seine eigene Kritik mit der Fähigkeit /rate-buildermark protokollieren.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Buildermark.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Einzelentwickler, die mehrere Coding-Agenten nutzen und eine klare Antwort darauf wollen, wie viel Code die Agenten geschrieben haben
- Engineering-Leads, die bewerten, ob die Einführung von KI-Coding-Agenten die tatsächliche Leistung verändert
- Datenschutzbewusste Teams, die den Quellcodeverlauf nicht an eine Cloud von Dritten senden können
Aufgaben
- Agenten-Attribution an einem Repo messen
- Agenten gegen die eigene Codebasis benchmarken
- Gespräche mit Coding-Agenten archivieren
- Agenten-Ausgabe bewerten
Szenarien
- Ein KI-Coding-Budget mit Zahlen statt mit Bauchgefühl rechtfertigen oder hinterfragen wollen
- An einer privaten Codebasis arbeiten, wo ein gehosteter Analysedienst keine Option ist
- Zwei Agenten im selben Projekt vergleichen, bevor Sie Ihr Team auf einen festlegen
Wichtigste Funktionen
Agenten-Attribution pro Commit
Buildermark gleicht die Diffs Ihres Coding-Agenten mit Commits ab und ordnet jede Zeile einem Agenten oder einem Menschen zu. Sie erhalten den genauen Prozentsatz eines Commits, der von einem Agenten geschrieben wurde, ohne Abhängigkeit von Agenten-Hooks und ohne manuelle Kennzeichnung. Der formatunabhängige Abgleich hält Autoformatierern, Umsortierungen und Rauschen bei Zeilenenden stand.
Bewertung von Gesprächen
Sie können Agentengespräche von Hand bewerten, oder den Agenten seine eigene Kritik über die Fähigkeit /rate-buildermark protokollieren lassen. Das macht aus einem rohen Chat-Verlauf ein Signal, das Sie über Sitzungen und Agenten hinweg vergleichen können.
Agenten-Benchmarking
Weil das Tool weiß, wie viel jeder Agent zu Ihrer tatsächlichen Codebasis beigetragen hat, kann es vergleichen, wie Claude, Codex, Gemini und Cursor bei Ihrer echten Arbeit abschneiden. Das ist nützlicher als ein synthetischer Benchmark, denn der Code ist Ihrer.
Local-First-Datenverarbeitung
Ihre Daten verlassen Ihre Maschine nie. Es gibt null Analyse und null Telemetrie, die App läuft vollständig auf localhost:55022, und die einzige ausgehende Anfrage ist eine Prüfung auf Updates. Buildermark steht unter MIT-Lizenz, die Aussage ist also überprüfbar und kein bloßes Versprechen.
Automatischer Import von Gesprächen und Commits
Gespräche von Claude Code, Codex, Gemini und anderen Agenten werden automatisch importiert, und Sie können Pfade zu freigegebenen Ordnern hinzufügen, um aus VMs und Containern zu beziehen. Der Git-Verlauf lädt von selbst, und der Diff-Abgleich läuft danach.
Native Benachrichtigungen
Die Attribution erscheint in Ihrem Benachrichtigungszentrum in dem Moment, in dem Sie committen, sodass Sie den Agenten-Prozentsatz für jeden Commit sehen, ohne ein Dashboard zu öffnen. Es funktioniert unter macOS, Windows und Linux.
Browser-Erweiterungen für Cloud-Agenten
Erweiterungen für Chrome, Firefox und Safari importieren Gespräche von cloudbasierten Agenten wie Claude Code Cloud und Codex Cloud. Sie klicken sich durch die Seite jedes Gesprächs, warten ein paar Sekunden, und die Erweiterung bestätigt den Import.
Vor- und Nachteile
Vorteile
- Läuft vollständig lokal auf localhost:55022, private Repos bleiben also privat
- MIT-Lizenz und Open Source, was die Datenschutzaussagen prüfbar macht
- Der formatunabhängige Diff-Abgleich übersteht Autoformatierer und verschobenen Code
- Deckt die wichtigsten Agenten an einem Ort ab: Claude Code, Codex, Gemini und Cursor
- Native Benachrichtigungen bringen die Attribution vor Ihre Augen, ohne separates Dashboard
Nachteile
- Die Desktop-App gibt es nur für macOS 15+ und Windows 10+, Linux-Nutzer bekommen also eine CLI ohne GUI
- Der Team Server für organisationsweite Zusammenfassungen steht noch auf der Warteliste, es gibt also noch keine teamübergreifende Ansicht
- Es gibt keine öffentliche API, was den Aufbau eigener Berichte darauf einschränkt
- Gespräche mit Cloud-Agenten brauchen einen Klick in einer Browser-Erweiterung statt automatischer Synchronisierung
Häufige Fragen
Es misst, wie viel Ihres Codes von KI-Coding-Agenten geschrieben wurde. Das Ziel ist einfach: KI-generierten Code messen und in einen Prozentsatz umwandeln. Es gleicht die Diffs der Agentengespräche mit den Diffs Ihrer Git-Commits ab und meldet einen Prozentsatz pro Commit.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Buildermark.
Alternativen zu Buildermark
Forefront
Forefront · CodingForefront ist eine Webplattform zum Bauen mit Open-Source-KI. Sie lassen sich führende Open-Source-Sprachmodelle mit eigenen Daten feintunen, ihre Leistung bewerten und sie über eine API ausführen oder exportieren, um sie selbst zu hosten. Entwickler, die den Komfort einer geschlossenen Plattform wollen, aber darauf bestehen, ihre Modelle und Daten zu besitzen, sind hier die Zielgruppe.
Startkit
StartKit.AI · CodingStartkit ist ein Boilerplate zum Bauen von KI-SaaS-Produkten und KI-Wrappern. Man kann es sich als KI-Startup-Boilerplate vorstellen, bei dem die langweiligen Teile schon verdrahtet sind: Authentifizierung, Zahlungen über Stripe und Lemon Squeezy, Nutzungslimits, transaktionale E-Mail und ein KI-API-Starter-Kit, das mit OpenAI, Anthropic, Groq oder Llama spricht. Man klont das Repository, setzt seinen Preis und kümmert sich um den Teil des Produkts, für den Menschen wirklich bezahlen. Es basiert auf Next.js über React und Tailwind, deshalb fühlt sich ein Großteil des Boilerplate-Codes schon vertraut an.
Testim
Tricentis · CodingTestim ist eine KI-gestützte Plattform für Testautomatisierung, mit der man End-to-End-Tests für Web-, Mobile- und Salesforce-Anwendungen baut und ausführt. Sie setzt auf maschinelles Lernen, um Tests stabil zu halten, wenn sich eine Oberfläche ändert, sodass Teams weniger Zeit mit der Reparatur kaputter Selektoren verbringen. Nicht schlecht für ein Tool für automatisierte Tests, das Sie heute schon nutzen können. Sie erstellen Tests, indem Sie Aktionen im Browser aufzeichnen, und fügen danach JavaScript hinzu, wenn Sie mehr Kontrolle brauchen. Für ein beschäftigtes QA-Team eine solide Wahl.