PlanetScale는 Bugbot으로 프로덕션 안정성을 보호합니다
PlanetScale는 고객의 가장 민감한 데이터를 위한 클라우드 데이터베이스 워크로드를 관리합니다. 신뢰성이 곧 제품 그 자체이며, 프로덕션에 배포되는 모든 코드 변경은 완벽해야 합니다. 에이전트 덕분에 코드 생성이 저비용·고속으로 가능해지면서, 소프트웨어 개발 생명주기에서 코드 리뷰가 새로운 병목 구간이 되었습니다.
정확성을 보장하고 프로덕션에 코드를 자신 있게 배포하기 위해 PlanetScale는 전담 에이전트 기반 리뷰 레이어로 Bugbot을 도입했습니다. 현재 Bugbot 코멘트의 약 80%가 머지 전에 해결되어, 문제가 프로덕션에 도달하는 것을 막고 PlanetScale에 풀타임 엔지니어 두 명에 해당하는 코드 리뷰 노력을 절감해 주고 있습니다.
Agent 도입으로 SDLC 병목이 다운스트림으로 이동
제품 신뢰성을 유지하기 위해 PlanetScale 엔지니어링 팀은 코드 리뷰에 대해 타협 없는 기준을 적용한다. PlanetScale의 소프트웨어 엔지니어인 Fatih Arslan은 "신뢰성은 우리 제품의 핵심입니다. 프로덕션에 반영되는 모든 변경 사항은 완벽해야 합니다."라고 말했다.
코딩 에이전트가 개발 워크플로의 중심이 되면서, 병목 구간은 코드 생성에서 코드 리뷰로, 즉 SDLC의 다운스트림으로 옮겨갔다. Arslan은 "코드는 싸졌습니다. 이제 병목은 코드가 올바른지, 그리고 그 코드가 무엇을 하는지 이해하고 있는지에 달려 있습니다."라고 설명했다.
코드 산출물은 빠르게 늘어났지만 사람이 직접 할 수 있는 리뷰 역량은 그대로였다. 이 불균형은 제품 품질에 대한 압박을 키웠다. 이에 발맞추기 위해 PlanetScale은 코드 리뷰에만 전념하는 엔지니어 두 명을 별도로 배치해야 할 것이라고 추산했다. 하지만 그런 선택은 제품 개발을 위한 엔지니어링 리소스를 줄이는 동시에, Agent 도입이 계속 확대되는 상황에서 장기적인 신뢰성 문제를 해결하지 못하는 결과를 낳는다.
Bugbot의 에이전트 기반 코드 리뷰가 기존 프로세스를 보완해 줄 필요가 있다는 것을 깨달았습니다. 그렇지 않았다면 코드의 품질과 정확성에 자신감을 갖고 프로덕션에 배포하는 일은 매우 어려웠을 것입니다.
Bugbot으로 프로덕션 다운타임 없애기
Bugbot은 PlanetScale의 복잡한 코드베이스와 에이전트가 생성한 방대한 코드량 때문에 인간 리뷰어들이 놓치던 이슈를 포착해, 다른 에이전트 리뷰 도구들 가운데서 돋보였습니다.
Bugbot을 통해 엔지니어들은 프로덕션 다운타임을 유발할 수 있는 버그를 개발 초기 단계에서 더 일찍 발견하고 해결하기 시작했습니다.
Bugbot은 다른 도구들과 다릅니다. 인간 리뷰어인 제가 상상도 못 했을 문제들을 찾아냅니다. 정말 놀랐어요.
기계적인 정확성에 초점을 맞춘 정적 분석기와 린터와는 달리, Bugbot은 다음과 같은 더 깊은 시맨틱·논리적 이슈를 드러냅니다:
- 시스템이 너무 이른 시점에 완료된 것으로 표시되는 상태 동기화 누락 구간
- 중요한 코드 경로 실행을 막아버리는 논리 흐름 변경
- 제대로 수렴하지 못하는 비동기 컨트롤러 상호작용
- 프로덕션 데이터베이스 전체에서 재시작을 촉발할 수 있는 엣지 케이스
Bugbot은 프로덕션에서 실질적인 다운타임을 유발할 수 있지만, 인간이 발견하기는 매우 어려운 버그들을 꾸준히 찾아냅니다.
PlanetScale은 또한 프론티어 모델에 단순히 코드를 리뷰하라고 프롬프트하는 것만으로는 Bugbot이 찾아내는 가장 중요한 이슈들을 일관되게 드러낼 수 없다는 점도 발견했습니다. Arslan은 “추론 모델을 사용해서 브랜치를 리뷰해 달라고 요청해 보면, 이런 이슈들을 찾지 못합니다. 결정적인 차이를 만드는 것은 특화된 하네스와 Bugbot의 설계 방식입니다”라고 말했습니다.
Bugbot 리뷰 품질 측정
PlanetScale은 Bugbot을 간단한 지표로 평가합니다. 바로 ‘해결률’로, Bugbot이 찾아낸 이슈들 가운데 머지 시점에 실제로 해결된 비율을 측정합니다.
현재 Bugbot 코멘트의 대략 80%가 매달 2,000개가 넘는 PR에서 엔지니어들에 의해 해결되고 있습니다. “Bugbot의 코멘트는 최고 수준이고, Bugbot이 더 많은 컨텍스트를 얻을수록 계속 좋아지고 있습니다.”라고 Arslan은 말합니다.
Bugbot의 신호 대 잡음비는 매우 높습니다. Bugbot이 PR에 코멘트를 남기면, 우리는 그것이 반드시 고쳐야 할 이슈를 지적하고 있다는 것을 압니다.
이제 Bugbot은 PlanetScale의 워크플로에 깊이 통합되어 있으며, 엔지니어들에게 사람이 작성한 코드와 에이전트가 생성한 코드 모두를 프로덕션에 안전하게 배포할 수 있다는 확신을 줍니다. “나는 Bugbot을 정말 좋아합니다. 그게 제 모토입니다.”라고 Arslan은 말합니다.
PlanetScale은 이제 품질을 희생하지 않으면서도 더 빠르게 소프트웨어를 배포할 수 있고, 엔지니어들은 에이전트가 만들어낸 모든 코드를 일일이 수동으로 리뷰하는 대신 복잡한 인프라 문제 해결에 집중할 수 있습니다.
만약 제가 우리 엔지니어링 팀에서 Bugbot을 빼앗아 간다면, 반란이 일어날 겁니다.
에이전트를 활용해 코드 리뷰를 간소화하고 제품 안정성을 강화하는 데 관심이 있다면, Cursor 체험을 시작할 수 있도록 저희 팀에 문의해 주세요.