程式碼 Agent 對生產力的影響
我們對幾個尚未有定論的問題很感興趣:開發者如何在工作中使用 Cursor 的 Agent,以及 Cursor 在組織中的生產力影響。
芝加哥大學金融與應用 AI(人工智慧)助理教授 Suproteem Sarkar 最近進行了一項研究,分析代理在數以萬計名 Cursor 使用者身上所產生的早期影響。
研究發現,在 Cursor 的 Agent 成為預設後,公司合併的 PR(拉取請求)數量增加了 39%。研究也發現,有經驗的開發者在開始撰寫程式碼前會先做更多規劃,且似乎更善於運用代理。
接受 Agent 撰寫的程式碼
研究觀察了兩項指標:使用者向 Agent 發送請求的頻率,以及他們接受 Agent 程式碼編輯的頻率。使用者是否接受 Agent 的編輯,取決於輸出結果與其意圖的契合程度,以及他們對採用生成程式碼的門檻。
資淺開發者更傾向於接受來自 Tab 的程式碼,而資深開發者則更傾向於接受來自 Agent 的程式碼。每當開發年資增加一個標準差,相較於平均值,接受 Agent 程式碼的比率約會提高 6%。


我們原本預期經驗較淺的開發者會以更高的頻率使用並接受 Agent,但結果似乎恰好相反!
幾個可能的原因:
-
資深開發者可能更擅長使用 Agent,例如利用自訂規則或更有效地管理程式上下文(context)。
-
他們對自己評估 Agent 撰寫程式碼變更的能力更有信心,因此更願意接受。
-
他們處理的任務範圍界定較明確,對 Agent 而言可能更容易在較少迭代中完成。
對生產力的影響
這項研究衡量了在 Agent 成為 Cursor 預設模式之後,作為吞吐量與品質代理指標的多項量測值出現了哪些變化。研究比較了兩組組織的這些指標:「符合條件(eligible)」組是指在 Agent 發布前就已經使用 Cursor 的組織;「基準(baseline)」組則是在分析期間完全沒有使用 Cursor 的組織。研究發現,相較於基準組的時間趨勢,已合併 PR 的比率提升了 39%。


在其他指標方面,研究發現 PR 的還原率沒有顯著變化,而錯誤修復率則略有下降。研究也發現,每個已合併 PR 的平均編輯行數與平均涉及檔案數並沒有明顯改變。
使用者行為與應用情境
請求內容顯示開發者如何使用 Agent,以及他們打算執行的操作。在一個包含 1,000 位使用者的樣本中,啟動對話的請求大致可分為三類:實作程式碼、解釋程式碼與錯誤,以及規劃行動。多數啟動對話的請求(約 61%)屬於實作類型,也就是指示 Agent 產生程式碼。


研究發現,經驗較豐富的開發者在產生程式碼之前,更傾向先規劃行動。
結論
目前還沒有單一、權威的指標可以衡量 AI 對軟體工程的經濟影響。和任何新技術一樣,要真正發揮 AI 的全部價值,仍需要時間。
這些初步發現讓我們感到振奮,我們也希望能持續研究 Cursor 對生產力的影響。
若要閱讀完整研究報告,你可以在這裡取得。