Estamos interessados nas questões em aberto sobre como desenvolvedores usam o agente do Cursor em seu trabalho e nos impactos de produtividade do Cursor nas organizações.

Suproteem Sarkar, professor assistente de finanças e IA aplicada na Universidade de Chicago, recentemente conduziu um estudo analisando os efeitos iniciais dos agentes em dezenas de milhares de usuários do Cursor.

O estudo constatou que empresas fazem merge de 39% mais PRs depois que o agente do Cursor se tornou o padrão. Também constatou que desenvolvedores experientes escrevem mais planos antes de começar a programar e parecem mais proficientes no uso de agentes.

#Aceitando código escrito por agentes

O estudo considerou dois indicadores: com que frequência os usuários enviam requisições ao agente e com que frequência eles aceitam suas edições de código. Se um usuário aceita ou não as edições do agente depende de quão bem o resultado se alinha com sua intenção e de seu nível de tolerância para aplicar código gerado.

Desenvolvedores juniores têm mais probabilidade de aceitar código do Tab, enquanto desenvolvedores sêniores têm mais probabilidade de aceitar código de agentes. Para cada aumento de um desvio padrão em anos de experiência, vemos um aumento correspondente de ~6% na taxa de aceitação de código de agentes em relação à média.

Esperaríamos que desenvolvedores menos experientes tendessem a usar e aceitar agentes em taxas mais altas; mas parece acontecer o oposto!

Algumas teorias:

• Desenvolvedores experientes podem ser mais habilidosos no uso de agentes, utilizando regras personalizadas ou gerenciando o contexto de forma mais eficaz.

• Eles são mais confiantes em sua capacidade de avaliar mudanças de código escritas por agentes, o que aumenta sua disposição em aceitá-las.

• Eles trabalham em tarefas com escopo mais bem definido, que podem ser mais fáceis para os agentes concluírem em menos iterações.

#Impacto na produtividade

O estudo mediu como indicadores (proxies) de throughput e qualidade mudaram depois que o Agente se tornou o modo padrão no Cursor. Ele comparou essas métricas entre um grupo "qualificado" de organizações que já usavam o Cursor antes de o Agente ser lançado e um grupo "de referência" de organizações que não estavam usando o Cursor durante o período de análise. O estudo constatou que a taxa de PRs mesclados aumentou 39% em relação às tendências temporais no grupo de referência.

Em outras métricas, o estudo identificou que a taxa de reversão de PRs não mudou de forma significativa e que a taxa de correção de bugs diminuiu levemente. Também verificou que a média de linhas editadas e de arquivos modificados por PR mesclado não mudou de forma significativa.

#Comportamento do usuário e aplicações

O conteúdo das solicitações indica como os desenvolvedores estão usando agentes e quais ações pretendem realizar. Em uma amostra de 1.000 usuários, foram identificadas três grandes categorias de solicitações iniciais de conversa: implementação de código, explicação de código e erros, e planejamento de uma ação. A maioria dessas solicitações iniciais (~61%) foi de implementação, em que o agente é instruído a gerar código.

O estudo constatou que desenvolvedores mais experientes são mais propensos a planejar uma ação antes de gerar código.

#Conclusão

Ainda não há uma métrica única e definitiva para medir o impacto econômico da IA na engenharia de software. Como em qualquer nova tecnologia, aproveitar todo o potencial da IA levará tempo.

Estamos otimistas com esses resultados iniciais e queremos continuar estudando os efeitos do Cursor na produtividade.

Para ler o estudo completo, você pode acessá-lo aqui.