Uns interessieren die offenen Fragen dazu, wie Entwickler Cursors Agent in ihrer Arbeit einsetzen und welche Auswirkungen Cursor auf die Produktivität in Organisationen hat.

Suproteem Sarkar, Assistant Professor für Finanzwirtschaft und angewandte KI an der University of Chicago, hat kürzlich eine Studie durchgeführt, in der die frühen Effekte von Agents bei Zehntausenden von Cursor-Nutzern analysiert wurden.

Die Studie ergab, dass Unternehmen 39 % mehr PRs mergen, nachdem Cursors Agent zur Standardeinstellung wurde. Außerdem zeigte sich, dass erfahrene Entwickler mehr Pläne schreiben, bevor sie mit dem Programmieren beginnen, und offenbar versierter im Umgang mit Agents sind.

#Akzeptieren von vom Agent geschriebenem Code

Die Studie betrachtete zwei Kennzahlen: wie häufig User Anfragen an den Agent senden und wie oft sie dessen Codeänderungen akzeptieren. Ob ein User die Änderungen des Agent akzeptiert, hängt davon ab, wie gut das Ergebnis zu seiner Absicht passt und wie hoch seine Schwelle für die Übernahme von generiertem Code ist.

Junior-Entwickler akzeptieren eher Code von Tab, während Senior-Entwickler eher Code von Agents akzeptieren. Für jede Standardabweichung zusätzlicher Berufserfahrung sehen wir einen entsprechenden Anstieg von etwa 6 % bei der Rate der Agent-Akzeptanzen relativ zum Mittelwert.

Wir hätten erwartet, dass weniger erfahrene Entwickler den Agent häufiger nutzen und seine Vorschläge öfter akzeptieren – es scheint jedoch, dass das Gegenteil der Fall ist!

Einige Theorien:

• Erfahrene Entwickler sind möglicherweise besser darin, Agents zu nutzen, z. B. durch eigene Regeln oder indem sie den Kontext effektiver steuern.

• Sie sind zuversichtlicher in ihrer Fähigkeit, vom Agent vorgeschlagene Codeänderungen zu beurteilen, was ihre Bereitschaft zur Akzeptanz erhöht.

• Sie arbeiten an besser abgegrenzten Aufgaben, die für Agents leichter in wenigen Iterationen zu erledigen sind.

#Auswirkungen auf die Produktivität

Die Studie maß, wie sich Proxy-Kennzahlen für Durchsatz und Qualität änderten, nachdem Agent zum Standardmodus in Cursor geworden war. Sie verglich diese Kennzahlen zwischen einer „qualifizierten“ Gruppe von Organisationen, die Cursor bereits vor der Veröffentlichung von Agent genutzt hatten, und einer „Baseline“-Gruppe von Organisationen, die Cursor im Analysezeitraum nicht verwendet hatten. Sie stellte fest, dass die Rate der zusammengeführten PRs im Vergleich zu den zeitlichen Trends in der Baseline-Gruppe um 39 % zunahm.

Bei anderen Kennzahlen stellte die Studie fest, dass sich die Rate zurückgesetzter PRs nicht signifikant veränderte und die Bugfix-Rate leicht zurückging. Außerdem zeigte sich, dass sich die durchschnittliche Anzahl bearbeiteter Zeilen und die durchschnittliche Anzahl betroffener Dateien pro zusammengeführter PR nicht signifikant änderten.

#Nutzungsverhalten und Anwendungen

Die Inhalte von Anfragen zeigen, wie Entwickler Agents einsetzen und welche Aktionen sie ausführen möchten. In einer Stichprobe von 1.000 Nutzern ließen sich drei große Kategorien von Einstiegsanfragen unterscheiden: Code implementieren, Code und Fehler erklären sowie eine Aktion planen. Die Mehrheit dieser Einstiegsanfragen (~61 %) entfiel auf Implementierung, bei der der Agent angewiesen wird, Code zu generieren.

Die Studie ergab, dass erfahrenere Entwickler eher dazu neigen, zunächst eine Aktion zu planen, bevor sie Code generieren.

#Fazit

Es gibt noch keine eindeutige Kennzahl, um die wirtschaftlichen Auswirkungen von KI auf die Softwareentwicklung zu messen. Wie bei jeder neuen Technologie wird es einige Zeit dauern, bis der volle Nutzen von KI ausgeschöpft ist.

Die frühen Ergebnisse sind vielversprechend, und wir möchten die Auswirkungen von Cursor auf die Produktivität weiter erforschen.

Die vollständige Studie können Sie hier einsehen.