Bugbot ahora mejora por sí solo con reglas aprendidas
Cuando lanzamos Bugbot fuera de beta en julio de 2025, el 52% de los errores que identificaba se resolvían antes de que se fusionara la PR correspondiente, lo que indicaba que el resto eran falsos positivos.
Hoy, la tasa de resolución se acerca al 80%, 15 puntos porcentuales por encima del producto de revisión de código con IA que le sigue.
| Producto de revisión de código con IA | Tasa de resolución | PR analizadas |
|---|---|---|
| Cursor Bugbot | 78.13% | 50,310 |
| Greptile | 63.49% | 11,419 |
| CodeRabbit | 48.96% | 33,487 |
| GitHub Copilot | 46.69% | 24,336 |
| Codex | 45.07% | 19,384 |
| Gemini Code Assist | 30.93% | 21,031 |
Analizamos únicamente repositorios públicos. Para cada comentario generado por un producto de revisión de código con IA, comprobamos si se había resuelto en el momento de fusionarse mediante un juez LLM.
Hasta ahora, las mejoras se han impulsado exclusivamente mediante experimentos offline: ajustamos Bugbot, probamos si el cambio mejora la tasa de resolución y lo lanzamos si es así.
Pero un enfoque estrictamente offline deja mucho potencial de aprendizaje sin aprovechar. Bugbot revisa cientos de miles de PR al día, y cada revisión es un experimento natural que puede usar para mejorar por sí solo según si el desarrollador actuó o no en función de su informe.
Para aprovechar esas señales en tiempo real, ahora hemos habilitado Bugbot para aprender de ejecuciones anteriores, transformando los comentarios del proceso de revisión de código en vivo en reglas aprendidas. Las reglas actúan como instrucciones adicionales que permiten una mayor personalización de las ejecuciones de Bugbot, ayudando a Bugbot a centrarse en incidencias específicas, contexto empresarial y mucho más.
Desde el lanzamiento de reglas aprendidas en beta, más de 110.000 repos han habilitado el aprendizaje, lo que ha generado más de 44.000 reglas aprendidas.
Cómo funcionan las reglas aprendidas
Cada PR fusionada contiene una serie de señales que Bugbot puede usar para mejorar por sí solo y convertir en reglas. Tres señales importantes son:
- Reacciones a los comentarios de Bugbot, donde un voto negativo le indica a Bugbot que el hallazgo no fue útil.
- Respuestas a los comentarios de Bugbot, en las que los desarrolladores explican qué estaba mal o cómo la sugerencia podría haber sido mejor.
- Comentarios de revisores humanos, que señalan incidencias que Bugbot pasó por alto.
Bugbot procesa estas señales para generar reglas candidatas que sigue evaluando con las PR entrantes. A medida que se acumulan las señales, Bugbot puede promover una regla candidata al estado activo, en el que empieza a influir en revisiones futuras. Del mismo modo, si una regla activa empieza a generar señales negativas de forma consistente, Bugbot puede desactivarla. También puedes editar o eliminar reglas directamente en la UI.
Primeros pasos
Queremos que Bugbot detecte todos los errores reales, lo que requiere una comprensión profunda de tu base de código, sus patrones y las prioridades de tu equipo. Las reglas aprendidas son un gran paso en esa dirección y forman parte de nuestro esfuerzo general para que Bugbot siga mejorando continuamente.
Gestiona el aprendizaje de Bugbot en el dashboard de Cursor, donde puedes habilitar las reglas aprendidas y hacer un relleno retroactivo de PR recientes, u obtener más información en nuestra documentación.
