Nous nous intéressons aux questions ouvertes quant à la manière dont les développeurs utilisent l’Agent de Cursor dans leur travail et à l’impact de Cursor sur la productivité des organisations.

Suproteem Sarkar, professeur assistant de finance et d’IA appliquée à l’Université de Chicago, a récemment mené une étude analysant les premiers effets des agents auprès de dizaines de milliers d’utilisateurs de Cursor.

L’étude a montré que les entreprises fusionnent 39 % de PR en plus depuis que l’Agent de Cursor est devenu le paramètre par défaut. Elle a également montré que les développeurs expérimentés rédigent davantage de plans avant de coder et semblent plus à l’aise avec les agents.

#Accepter le code écrit par un agent

L'étude a examiné deux signaux : la fréquence à laquelle les utilisateurs envoient des requêtes à l'agent et la fréquence à laquelle ils acceptent ses modifications de code. Le fait qu'un utilisateur accepte ou non les modifications de l'agent dépend du degré de correspondance entre le résultat et son intention, ainsi que de son seuil d’acceptation du code généré.

Les développeurs juniors sont plus enclins à accepter du code provenant de Tab, tandis que les développeurs seniors sont plus susceptibles d'accepter du code provenant d’agents. À chaque écart-type supplémentaire en années d'expérience, nous observons une augmentation correspondante d'environ 6 % du taux d'acceptation du code des agents par rapport à la moyenne.

Nous nous serions attendus à ce que les développeurs les moins expérimentés aient tendance à utiliser et accepter les agents à des taux plus élevés ; il semble que ce soit l'inverse qui soit vrai !

Quelques pistes d’explication :

• Les développeurs expérimentés peuvent être plus avancés dans l'utilisation des agents, par exemple en définissant des règles personnalisées ou en gérant le contexte plus efficacement.

• Ils ont davantage confiance dans leur capacité à évaluer les modifications de code écrites par un agent, ce qui augmente leur propension à les accepter.

• Ils travaillent sur des tâches mieux cadrées, qui peuvent être plus faciles à accomplir pour les agents en moins d'itérations.

#Impact sur la productivité

L’étude a mesuré comment des indicateurs servant de proxy du débit et de la qualité ont évolué après qu’Agent est devenu le mode par défaut sur Cursor. Elle a comparé ces mesures entre un groupe d’organisations « éligibles » qui utilisaient déjà Cursor avant le lancement d’Agent et un groupe « témoin » d’organisations qui n’utilisaient pas Cursor pendant la période analysée. Elle a constaté que le taux de PR fusionnées a augmenté de 39 % par rapport aux tendances observées dans le groupe témoin.

Pour les autres indicateurs, l’étude a constaté que le taux de revert des PR n’a pas significativement changé et que le taux de correction de bugs a légèrement diminué. Elle a également constaté que le nombre moyen de lignes modifiées et le nombre moyen de fichiers modifiés par PR fusionnée n’ont pas significativement changé.

#Comportement des utilisateurs et cas d’usage

Le contenu des requêtes indique comment les développeurs utilisent les agents et les actions qu’ils ont l’intention d’effectuer. Dans un échantillon de 1 000 utilisateurs, trois grandes catégories de requêtes initiant une conversation ont été identifiées : implémenter du code, expliquer du code et des erreurs, et planifier une action. La majorité des requêtes initiales (~61 %) concernaient l’implémentation, où l’agent est chargé de générer du code.

L’étude a montré que les développeurs les plus expérimentés sont plus susceptibles de planifier une action avant de générer du code.

#Conclusion

Il n’existe pas encore de mesure unique et définitive pour quantifier l’impact économique de l’IA sur l’ingénierie logicielle. Comme pour toute nouvelle technologie, il faudra du temps pour exploiter pleinement toute la valeur de l’IA.

Ces premiers résultats sont encourageants, et nous souhaitons continuer à étudier l’impact de Cursor sur la productivité.

Pour consulter l’étude complète, vous pouvez la retrouver ici.