跳转到内容

编码 Agent 对生产力的影响

Oskar Schulz研究

我们对几个尚未有定论的问题很感兴趣:开发者在工作中是如何使用 Cursor 的 Agent 的,以及 Cursor 在组织层面对生产力带来了怎样的影响。

芝加哥大学金融与应用 AI 副教授 Suproteem Sarkar 最近开展了一项研究,分析了 Agent 在数万名 Cursor 用户中的早期影响。

研究发现,在 Cursor 的 Agent 成为默认选项后,公司合并的 PR 数量增加了 39%。研究还发现,有经验的开发者在写代码之前会制定更多计划,并且在使用 Agent 方面表现得更加熟练。

接受由 Agent 编写的代码

研究考察了两个信号:用户向 Agent 发送请求的频率,以及他们接受 Agent 代码编辑的频率。用户是否接受 Agent 的编辑,取决于输出与其意图的契合程度,以及他们对采用生成代码的门槛。

初级开发者更倾向于接受来自 Tab 的代码,而高级开发者更倾向于接受来自 Agent 的代码。每当工作年限增加一个标准差,Agent 代码被接受的比例相对于平均值大约提升 6%。

我们原本以为,经验较少的开发者会更频繁地使用并接受 Agent,但结果似乎恰好相反!

几种可能的解释:

  • 经验丰富的开发者在使用 Agent 方面更娴熟,比如编写自定义规则或更有效地管理上下文。

  • 他们对自己评估 Agent 编写代码改动的能力更有信心,因此更愿意接受。

  • 他们处理的是范围更清晰的任务,这类任务往往更容易由 Agent 在较少迭代中完成。

对生产力的影响

这项研究衡量了在 Agent 成为 Cursor 默认模式后,吞吐量和质量的代理指标发生了怎样的变化。它将这些指标在两类组织之间进行了对比:一类是 Agent 发布前已经在使用 Cursor 的“符合条件”组织,另一类是在分析期间未使用 Cursor 的“基线”组织。结果发现,相对于基线组的时间趋势,合并 PR 的数量提升了 39%。

在其他指标上,研究发现 PR 回滚率没有显著变化,而缺陷修复率略有下降。研究还发现,每个合并 PR 的平均编辑行数和平均涉及的文件数并没有显著变化。

用户行为与使用方式

请求的内容反映了开发者如何使用 Agents 以及他们打算执行的操作。在一个包含 1,000 名用户的样本中,用于发起对话的初始请求大致分为三类:实现代码、解释代码和错误,以及规划要执行的操作。大多数发起对话的请求(约 61%)都是与实现相关,即指示 Agent 生成代码。

研究发现,更有经验的开发者在生成代码之前,更倾向于先规划要执行的操作。

结论

目前还没有一个公认的单一指标可以衡量 AI 对软件工程的经济影响。和任何新技术一样,要充分释放 AI 的价值需要时间。

这些早期发现让我们深受鼓舞,我们也希望持续研究 Cursor 对生产力的影响。

你可以在这里查看完整研究报告。

归档于: 研究

作者: Oskar Schulz

编码 Agent 对生产力的影响 · Cursor