Bugbot agora se autoaperfeiçoa com regras aprendidas
Quando lançamos o Bugbot e ele saiu do beta em julho de 2025, 52% dos bugs que ele identificou haviam sido resolvidos até o momento em que o PR relevante foi mesclado, indicando que o restante eram falsos positivos.
Hoje, a taxa de resolução está se aproximando de 80%, 15 pontos percentuais acima do produto de revisão de código com IA mais próximo.
| Produto de revisão de código com IA | Taxa de resolução | PRs analisados |
|---|---|---|
| Cursor Bugbot | 78.13% | 50,310 |
| Greptile | 63.49% | 11,419 |
| CodeRabbit | 48.96% | 33,487 |
| GitHub Copilot | 46.69% | 24,336 |
| Codex | 45.07% | 19,384 |
| Gemini Code Assist | 30.93% | 21,031 |
Analisamos apenas repositórios públicos. Para cada comentário produzido por um produto de revisão de código com IA, verificamos se ele havia sido resolvido até o momento da mesclagem usando um LLM como juiz.
Até agora, as melhorias vinham exclusivamente de experimentos offline: ajustamos o Bugbot, testamos para ver se a alteração melhora a taxa de resolução e a entregamos se melhorar.
Mas uma abordagem estritamente offline deixa muito potencial de treinamento inexplorado. O Bugbot analisa centenas de milhares de PRs por dia, e cada revisão é um experimento natural que ele pode usar para se autoaperfeiçoar com base em o desenvolvedor ter seguido ou não o seu relatório.
Para aproveitar esses sinais em tempo real, agora habilitamos o Bugbot a aprender com execuções anteriores, transformando o feedback do processo de revisão de código em regras aprendidas. As regras funcionam como instruções adicionais que permitem maior personalização das execuções do Bugbot, ajudando o Bugbot a focar em problemas específicos, contexto de negócios e mais.
Desde o lançamento das regras aprendidas em beta, mais de 110.000 repositórios habilitaram o aprendizado, gerando mais de 44.000 regras aprendidas.
Como as regras aprendidas funcionam
Cada PR mesclado contém uma série de sinais que o Bugbot pode usar para se autoaperfeiçoar e transformá-los em regras. Três sinais importantes são:
- Reações aos comentários do Bugbot, em que um voto negativo informa ao Bugbot que o apontamento não foi útil.
- Respostas aos comentários do Bugbot, nas quais desenvolvedores explicam o que estava errado ou como a sugestão poderia ter sido melhor.
- Comentários de revisores humanos, que sinalizam problemas que o Bugbot não detectou.
O Bugbot processa esses sinais em regras candidatas, que continua avaliando nos novos PRs. À medida que os sinais se acumulam, o Bugbot pode promover uma regra candidata ao status de ativa, momento em que ela passa a influenciar revisões futuras. Da mesma forma, se uma regra ativa começar a gerar sinais negativos consistentes, o Bugbot pode desativá-la. Você também pode editar ou excluir regras diretamente na interface.
Primeiros passos
Queremos que o Bugbot identifique todos os bugs reais, o que exige uma compreensão profunda da sua base de código, dos padrões e das prioridades da equipe. As regras aprendidas são um grande passo nessa direção e fazem parte do nosso esforço contínuo para fazer com que o Bugbot melhore continuamente.
Gerencie o aprendizado do Bugbot no Cursor Dashboard, onde você pode habilitar regras aprendidas e executar um backfill nos PRs recentes, ou saber mais na nossa documentação.
