跳至主內容

程式代理人對生產力的影響

作者: Oskar Schulz 屬於 研究

我們特別關注一些尚待釐清的問題,包括開發者如何在工作中使用 Cursor 的代理,以及 Cursor 在組織層面對生產力的影響。

芝加哥大學財務與應用 AI 助理教授 Suproteem Sarkar近期進行了一項研究,分析代理在數萬名 Cursor 使用者身上的早期影響。

研究發現,當 Cursor 的智能代理成為預設後,公司合併的 PR 數量增加了 39%。研究也發現,有經驗的開發者在開始撰寫程式碼前會制定更多規劃,且在使用代理方面顯得更為熟練。

接受 Agent 產生的程式碼

這項研究著重於兩項指標:使用者向代理發送請求的頻率,以及他們接受代理程式碼編輯的次數。使用者是否接受代理的編輯,取決於輸出結果與其意圖的契合程度,以及他們採用產生程式碼的門檻高低。

資淺開發者更傾向接受來自 Tab 的程式碼,而資深開發者則更傾向接受來自 Agent 的程式碼。每當工作年資增加一個標準差,我們觀察到代理程式的接受率相較於平均值約提升 6%。

我們原本預期資淺開發者會更常使用並接受 Agent,但結果似乎正好相反!

幾種可能的理論:

  • 有經驗的開發者在使用代理時通常更得心應手,例如透過自訂規則或更有效率地管理上下文。
  • 他們對自己評估代理撰寫的程式碼變更的能力更有信心,因此更願意接受。
  • 他們正在處理範圍定義更明確的任務,這類任務通常能讓代理在較少次數的迭代中完成。

對工作效率的影響

這項研究測量了在 Agent 成為 Cursor 的預設模式之後,代表吞吐量與品質的代理指標如何變化。研究比較了兩個群組:其一是「合格」組織,也就是在 Agent 發布前就已經使用 Cursor 的組織;另一個是「基準」組織,也就是在整個分析期間都未使用 Cursor 的組織。研究發現,相較於基準組織中的時間趨勢,已合併 PR 的比例提高了 39%。

在其他指標方面,研究發現 PR 的回退率沒有顯著變化,而錯誤修復率則略有下降。研究還發現,每個已合併 PR 的平均編輯行數與平均變更檔案數也沒有顯著變化。

使用者行為與應用

請求的內容反映開發者如何使用代理,以及他們打算執行的操作。在 1,000 位使用者的樣本中,用來開啟對話的請求大致可分為三大類:實作程式碼、說明程式碼與錯誤,以及規劃操作。多數用來開啟對話的請求(約 61%)都是為了實作,也就是指示代理產生程式碼。

研究發現,經驗較豐富的開發者在產生程式碼前,更傾向先規劃要採取的行動。

結論

目前尚未有單一權威的指標,可以用來衡量 AI 對軟體工程的經濟影響。和任何新技術一樣,要充分發揮 AI 的價值仍需要時間。

這些初步發現讓我們深受鼓舞,我們也希望持續研究 Cursor 對生產力的影響。

若要閱讀完整研究報告,您可以點擊此處進行存取。

歸類於: 研究

作者: Oskar Schulz