Bugbot verbessert sich jetzt selbst mit erlernten Regeln
Als wir Bugbot im Juli 2025 aus der Beta-Phase geholt haben, waren 52 % der von ihm identifizierten Bugs behoben, sobald die jeweilige PR zusammengeführt wurde – ein Hinweis darauf, dass der Rest Fehlalarme waren.
Heute liegt die Lösungsrate bei fast 80 % und damit 15 Prozentpunkte höher als beim nächstbesten KI-Code-Review-Produkt.
| KI-Code-Review-Produkt | Lösungsrate | Analysierte PRs |
|---|---|---|
| Cursor Bugbot | 78.13% | 50,310 |
| Greptile | 63.49% | 11,419 |
| CodeRabbit | 48.96% | 33,487 |
| GitHub Copilot | 46.69% | 24,336 |
| Codex | 45.07% | 19,384 |
| Gemini Code Assist | 30.93% | 21,031 |
Wir haben nur öffentliche Repositories analysiert. Für jeden Kommentar, der von einem KI-Code-Review-Produkt erstellt wurde, haben wir mit einem LLM-Judge geprüft, ob er bis zum Merge berücksichtigt wurde.
Bisher kamen Verbesserungen ausschließlich aus Offline-Experimenten: Wir passen Bugbot an, testen, ob die Änderung die Lösungsrate verbessert, und liefern sie aus, wenn sie es tut.
Ein rein offlinebasierter Ansatz lässt jedoch viel Trainingspotenzial ungenutzt. Bugbot prüft Hunderttausende PRs pro Tag, und jedes Review ist ein natürliches Experiment, aus dem Bugbot lernen kann – je nachdem, ob der Entwickler auf den Hinweis reagiert oder nicht.
Um diese Signale in Echtzeit zu nutzen, kann Bugbot jetzt aus früheren Ausführungen lernen und Feedback aus dem laufenden Code-Review-Prozess in erlernte Regeln umwandeln. Regeln dienen als zusätzliche Anweisungen, mit denen sich Bugbot-Ausführungen stärker anpassen lassen und die Bugbot helfen, sich auf spezifische Issues, den Geschäftskontext und mehr zu konzentrieren.
Seit dem Start von erlernten Regeln in der Beta haben mehr als 110.000 Repos das Lernen aktiviert und dabei mehr als 44.000 erlernte Regeln erzeugt.
Wie erlernte Regeln funktionieren
Jede zusammengeführte PR enthält verschiedene Signale, die Bugbot nutzen kann, um sich selbst zu verbessern und daraus Regeln abzuleiten. Drei wichtige Signale sind:
- Reaktionen auf Bugbot-Kommentare, bei denen ein Downvote Bugbot signalisiert, dass der Hinweis nicht nützlich war.
- Antworten auf Bugbot-Kommentare, in denen Entwickler erklären, was falsch war oder wie der Vorschlag besser hätte sein können.
- Kommentare von menschlichen Reviewern, die auf Probleme hinweisen, die Bugbot übersehen hat.
Bugbot verarbeitet diese Signale zu Regelkandidaten, die es anschließend weiter anhand eingehender PRs bewertet.
Mit der Zeit kann Bugbot einen Regelkandidaten auf aktiv hochstufen, sodass er künftige Reviews beeinflusst. Umgekehrt kann Bugbot eine aktive Regel deaktivieren, wenn sie anfängt, konsistent negative Signale zu erhalten. Du kannst Regeln auch direkt in der UI bearbeiten oder löschen.
Erste Schritte
Wir möchten, dass Bugbot jeden echten Bug erkennt. Dafür braucht es ein tiefes Verständnis deiner Codebasis, der Muster darin und der Prioritäten deines Teams. Erlernte Regeln sind ein großer Schritt in diese Richtung und Teil unserer übergreifenden Bemühungen, Bugbot kontinuierlich zu verbessern.
Verwalte, wie Bugbot lernt, im Cursor Dashboard. Dort kannst du erlernte Regeln aktivieren und einen Backfill für jüngste PRs ausführen. Mehr dazu erfährst du in unserer Dokumentation.
