コーディングエージェントが生産性に与える影響

私たちは、開発者が日々の開発業務で Cursor のエージェントをどのように活用しているのか、そして組織における Cursor の生産性への影響について、いまだ十分に解明されていない点に関心を持っています。

シカゴ大学でファイナンスと応用 AI を専門とする助教授の Suproteem Sarkar 氏は最近、何万人もの Cursor ユーザーを対象に、エージェントの初期効果を分析する研究を行いました。

この研究では、Cursor のエージェントがデフォルトになってから、企業でマージされる PR（プルリクエスト）が 39% 増加していることが分かりました。また、経験豊富な開発者ほどコーディング前により多くのプランを作成し、エージェントをより高い熟練度で使いこなしているように見えることも明らかになりました。

エージェントが書いたコードの受け入れ

この調査では、2つのシグナルに着目しました。ユーザーがどれくらいの頻度でエージェントにリクエストを送るか、そしてどれくらいの頻度でエージェントによるコード編集を受け入れるかです。ユーザーがエージェントの編集を受け入れるかどうかは、出力が自分の意図とどれだけ合致しているか、および生成コードを適用する際のハードルの高さによって変わります。

ジュニア開発者は Tab からのコードを受け入れる傾向が強く、一方でシニア開発者はエージェントからのコードを受け入れる傾向が強いことが分かりました。経験年数が標準偏差 1 つ分増えるごとに、平均と比較したエージェント受け入れ率が約 6% 上昇するという結果が得られました。

私たちは、経験の浅い開発者ほどエージェントを多く使い、より高い割合で受け入れると予想していましたが、実際にはその逆であるようです。

いくつか考えられる理由があります。

経験豊富な開発者は、カスタムルールの利用やコンテキスト管理をより効果的に行うことで、エージェントを使いこなしている可能性があります。
エージェントが書いたコード変更を評価できるという自信が高く、そのぶん受け入れの意思決定もしやすくなっています。
エージェントが少ない反復で完了しやすい、スコープが明確なタスクに取り組んでいることが多い可能性があります。

生産性への影響

この調査では、Agent が Cursor のデフォルトモードになった後に、スループットと品質の代理指標がどのように変化したかを測定しました。Agent のリリース前からすでに Cursor を利用していた「対象」グループの組織と、分析期間中に Cursor を利用していなかった「ベースライン」グループの組織との間で、これらの指標を比較しました。その結果、ベースライン・グループにおける同期間のトレンドと比べて、マージされた PR の率が 39% 増加したことが分かりました。

その他の指標では、PR のリバート率に有意な変化はなく、バグ修正率はわずかに低下しました。また、マージされた PR あたりの平均編集行数および平均変更ファイル数についても、有意な変化は見られませんでした。

ユーザー行動とユースケース

リクエストの内容から、開発者がエージェントをどのように活用し、どのような操作を行おうとしているかが分かります。1,000人のユーザーのサンプルでは、会話のきっかけとなるリクエストは大きく3つのカテゴリに分類されました：コードの実装、コードやエラーの説明、実行したい操作の計画です。会話の起点となるリクエストの大半（約61%）は実装目的であり、エージェントにコード生成を指示するものでした。