代码智能体对生产力的影响
我们主要关注几个尚待探索的问题:开发者在日常工作中如何使用 Cursor 的 Agent,以及 Cursor 对各类组织生产力的影响。
芝加哥大学金融与应用人工智能系助理教授 Suproteem Sarkar最近开展了一项研究,分析了 Agent 在数万名 Cursor 用户中的早期使用效果。
研究发现,在将 Cursor 智能体设为默认之后,公司合并的 PR 数量增加了 39%。研究还发现,有经验的开发者在开始编码前会撰写更多方案,并且在使用智能体方面表现得更加熟练。
接受由 Agent 生成的代码
该研究关注了两个信号:用户向 Agent 发送请求的频率,以及用户接受其代码修改的频率。用户是否接受 Agent 的修改,取决于输出与其意图的匹配程度,以及他们对采纳生成代码的接受门槛。
初级开发者更倾向于接受来自 Tab 的代码,而高级开发者更倾向于接受来自智能代理的代码。每当开发经验年限增加一个标准差时,我们观察到代理生成代码的接受率相对于平均值大约会提高 6%。


我们原本以为经验较少的开发者会更频繁地使用并接受 Agent,但结果似乎恰好相反!
几种可能的原因:
- 有经验的开发者往往更擅长使用智能代理,例如编写自定义规则或更高效地管理上下文。
- 他们对自己评估代理生成代码改动的能力更有信心,因此更愿意接受这些改动。
- 他们正在处理范围定义更明确的任务,这类任务通常可以让 Agent 用更少的迭代完成。
对工作效率的影响
该研究衡量了在 Agent 成为 Cursor 默认模式之后,用作吞吐量和质量代理指标的度量是如何变化的。它对比了两个组织群体的这些指标:一个是在 Agent 发布之前就已经使用 Cursor 的“符合条件”组织群体,另一个是在分析期间没有使用 Cursor 的“基线”组织群体。研究发现,相较于基线组的时间趋势,合并 PR 的速率提高了 39%。


在其他指标上,研究发现 PR 回滚率没有显著变化,而缺陷修复率略有下降。研究还发现,每个已合并 PR 的平均编辑代码行数和平均涉及文件数也没有发生显著变化。
用户行为与应用
请求内容反映了开发者如何使用代理以及他们打算执行的操作。在一个包含 1,000 名用户的样本中,会话起始请求大致可分为三类:实现代码、解释代码与错误,以及规划要执行的操作。大多数会话起始请求(约 61%)属于实现类,即让代理生成代码。


研究发现,经验更丰富的开发者更倾向于在生成代码前先规划要采取的行动。
结论
目前还没有一个权威、统一的指标用于衡量 AI 对软件工程的经济影响。和任何新技术一样,要充分发挥 AI 的全部价值仍然需要时间。
这些初步发现令我们备受鼓舞,我们希望继续研究 Cursor 对生产力的影响。
要阅读全文研究报告,您可以点击此处。