PlanetScale protege a confiabilidade em produção com o Bugbot
PlanetScale gerencia cargas de trabalho de banco de dados em nuvem para os dados mais sensíveis de seus clientes. Confiabilidade é o produto, e cada alteração de código enviada para produção precisa estar impecável. Com os agentes tornando a geração de código barata e rápida, a revisão de código virou o novo gargalo no ciclo de vida de desenvolvimento de software.
Para garantir correção e colocar código em produção com confiança, a PlanetScale adotou o Bugbot como uma camada dedicada de revisão baseada em agentes. Hoje, cerca de 80% dos comentários do Bugbot são tratados antes do merge, impedindo que problemas cheguem à produção e gerando para a PlanetScale uma economia equivalente ao esforço de revisão de dois engenheiros em tempo integral.
Agentes deslocam gargalos no SDLC para etapas posteriores
Para manter a confiabilidade do produto, a equipe de engenharia da PlanetScale define um padrão rigoroso para revisão de código. "Confiabilidade está no núcleo do nosso produto. Cada alteração enviada para produção precisa ser impecável", disse Fatih Arslan, engenheiro de software na PlanetScale.
À medida que agentes de codificação se tornaram centrais nos fluxos de trabalho de desenvolvimento, os gargalos se deslocaram para etapas posteriores, da geração de código para a revisão de código. "Código se tornou barato. O gargalo agora é saber se o seu código está correto e se você entende o que ele faz", explicou Arslan.
A produção de código aumentou rapidamente enquanto a capacidade de revisão humana permaneceu fixa. Esse desequilíbrio criou pressão sobre a qualidade do produto. Para acompanhar o ritmo, a PlanetScale estimou que precisaria dedicar dois engenheiros exclusivamente à revisão de código. Esse trade-off reduziria a capacidade de engenharia para desenvolvimento de produto, sem resolver o desafio de confiabilidade de longo prazo à medida que a adoção de agentes continuasse a escalar.
Percebemos que precisávamos da revisão baseada em agentes do Bugbot para complementar nosso processo existente. Caso contrário, seria muito difícil enviar código para produção com confiança na qualidade e na correção.
Eliminando indisponibilidades em produção com o Bugbot
O Bugbot se destacou em relação a outras ferramentas de revisão baseadas em agentes ao detectar problemas que revisores humanos estavam deixando passar devido à complexidade da base de código da PlanetScale e ao volume de código gerado por agentes.
Com o Bugbot, engenheiros passaram a encontrar e corrigir mais cedo, ainda no desenvolvimento, bugs que poderiam causar indisponibilidade em produção.
Bugbot é diferente de outras ferramentas. Ele detecta problemas que, como revisor humano, eu nunca imaginaria procurar. Fiquei impressionado.
Ao contrário de analisadores estáticos e linters, que focam na correção mecânica, o Bugbot destaca problemas semânticos e lógicos mais profundos, como:
- Lacunas de sincronização de estado em que sistemas são marcados como concluídos precocemente
- Alterações no fluxo lógico que impedem a execução de caminhos de código críticos
- Interações assíncronas entre controladores que não convergem adequadamente
- Casos extremos (edge cases) que podem disparar reinicializações em bancos de dados de produção
Bugbot encontra de forma consistente bugs que podem causar indisponibilidade significativa em produção, mas que são muito difíceis para humanos detectarem.
A PlanetScale também descobriu que simplesmente solicitar que um modelo de ponta revisasse o código não destacava, de forma consistente, os problemas mais críticos que o Bugbot identifica. "Quando eu uso um modelo de raciocínio e peço para ele revisar a branch, ele não encontra esses problemas. É o arcabouço especializado e a maneira como o Bugbot é construído que fazem toda a diferença", disse Arslan.
Medindo a qualidade das revisões do Bugbot
A PlanetScale avalia o Bugbot usando uma métrica simples: a taxa de resolução, que mede a proporção de problemas identificados pelo Bugbot que são abordados no momento do merge.
Atualmente, cerca de 80% dos comentários do Bugbot são tratados pelos engenheiros em mais de 2.000 PRs revisadas a cada mês. "Os comentários do Bugbot são de altíssimo nível e continuam melhorando com o tempo à medida que o Bugbot obtém mais contexto", disse Arslan.
A relação sinal-ruído do Bugbot é muito alta. Quando o Bugbot comenta em uma PR, sabemos que ele está destacando um problema que precisamos corrigir.
Hoje, o Bugbot está profundamente incorporado ao fluxo de trabalho da PlanetScale e dá aos engenheiros a confiança de que tanto o código escrito por humanos quanto o gerado por agentes pode ser enviado com segurança para produção. "Eu amo o Bugbot. Esse é o meu lema", diz Arslan.
A PlanetScale agora consegue entregar software mais rapidamente sem sacrificar a qualidade, enquanto os engenheiros podem se concentrar em resolver problemas complexos de infraestrutura em vez de revisar manualmente cada linha produzida por agentes.
Se eu tirasse o Bugbot da nossa equipe de engenharia, haveria um motim.
Se você está interessado em otimizar a revisão de código e aumentar a confiabilidade do produto com agentes, entre em contato com nossa equipe para iniciar um teste do Cursor.