私たちは、開発者が業務の中でCursorのエージェントをどのように活用しているのか、また組織におけるCursorの導入が生産性にどのような影響を与えるのかという、まだ答えの出ていない問いに関心を持っています。

University of Chicago でファイナンスと応用 AI を教える助教の Suproteem Sarkar 氏は、数万人規模の Cursor ユーザーを対象に、エージェントの初期効果を分析する研究を最近実施しました。

調査の結果、Cursor のエージェントをデフォルトにしてから、企業がマージする PR の数は 39% 増加したことが分かりました。また、経験豊富な開発者ほどコーディング前により多くのプランを立てており、エージェントの活用にも長けていることが明らかになりました。

エージェント生成コードを受け入れる

この調査では 2 つの指標を検証しました。1 つ目は、ユーザーがどれくらいの頻度でエージェントにリクエストを送るか、2 つ目は、エージェントによるコード編集をどれくらいの頻度で受け入れるかです。ユーザーがエージェントの編集を受け入れるかどうかは、出力結果が自分の意図とどれだけ一致しているか、そして生成されたコードを適用する際の許容度によって決まります。

ジュニア開発者はTabからのコードを受け入れる傾向が強く、シニア開発者はエージェントからのコードを受け入れる傾向が強いことがわかりました。開発経験年数が標準偏差1つ分増えるごとに、平均と比べたエージェントのコード受け入れ率が約6％ずつ増加しています。

経験の浅い開発者ほど、より高い頻度でエージェントを使い、その提案を受け入れると予想していましたが、実際にはどうやらその逆のようです。

いくつかの説があります。

• 経験豊富な開発者は、カスタムルールの活用やコンテキストのより効果的な管理によって、エージェントをよりうまく使いこなせる場合があります。
• エージェントが作成したコード変更を評価できるという自信が高まり、それらを受け入れようとする姿勢も強まります。
• エージェントがより少ない反復で完了しやすいよう、スコープが明確に定義されたタスクに取り組んでいます。

生産性へのインパクト

この調査では、Cursor で Agent がデフォルトモードになった後、スループットと品質を表す代理指標がどのように変化したかを測定しました。Agent のリリース前からすでに Cursor を利用していた「対象」グループの組織と、分析期間中は Cursor を利用していなかった「ベースライン」グループの組織との間で、これらの指標を比較しました。その結果、ベースライン・グループの時間的トレンドと比較して、マージされた PR の割合が 39% 増加していることが分かりました。

その他の指標については、PR のリバート率に有意な変化は見られず、バグ修正率はわずかに低下していました。また、マージされた PR ごとの平均編集行数と平均変更ファイル数にも、有意な変化は見られませんでした。

ユーザー行動とアプリケーション

リクエストの内容を見ると、開発者がエージェントをどのように利用し、どのようなアクションを実行しようとしているかが分かります。1,000人のユーザーを対象としたサンプルでは、会話を開始するリクエストは大きく3つのカテゴリーに分類されました。コードの実装、コードやエラーの説明、そしてアクションの計画です。会話を開始するリクエストの大半（約61％）は実装目的であり、エージェントにコード生成を指示するものでした。

この調査では、経験豊富な開発者ほど、コードを生成する前にあらかじめ手順を計画する傾向が高いことがわかりました。

まとめ

ソフトウェアエンジニアリングにおけるAIの経済的な影響を測るための、決定版といえる唯一の指標はまだ存在しません。ほかの新しい技術と同様に、AIの価値を最大限に引き出すには時間がかかります。

これらの初期的な結果には手応えを感じており、今後も Cursor が生産性に与える影響を継続的に検証していきたいと考えています。

調査の全文はこちらからご覧いただけます。