程式代理對生產力的影響
我們關注的未解問題包括:開發者如何在工作中使用 Cursor 的 Agent,以及 Cursor 在各組織中的生產力影響。
芝加哥大學財務與應用 AI(人工智慧)助理教授 Suproteem Sarkar最近進行了一項研究,分析了 Agent 在數以萬計 Cursor 使用者中的早期影響。
研究發現,在 Cursor 的 Agent 成為預設後,公司合併的 PR(拉取請求)增加了 39%。研究也指出,有經驗的開發者在開始寫程式前會撰寫更多規劃,且使用代理時展現出更高的熟練度。
接受代理產生的程式碼
本研究觀察了兩項訊號:使用者向 Agent 發出請求的頻率,以及他們接受其程式碼編輯的頻率。使用者是否接受 Agent 的編輯,取決於輸出與其意圖的貼合程度,以及他們採用生成程式碼的門檻。
初級開發者更傾向接受來自 Tab 的程式碼,而資深開發者則更傾向接受來自 Agent 的程式碼。每當年資增加一個標準差,與平均值相比,Agent 的接受率會相應提高約 6%。

我們原以為經驗較淺的開發者會更常使用並接受代理;結果看起來恰好相反!
幾種可能的理論:
- 資深開發者在使用 Agent 方面通常更熟練,能透過自訂規則或更有效的脈絡管理來提升運用效果。
- 他們對自己評估代理所撰寫程式碼變更的能力更有信心,因此更願意接受。
- 他們正在處理範圍界定更清楚的任務,代理因此能以更少次的反覆就完成。
生產力影響
該研究在 Cursor 將 Agent 設為預設模式後,衡量了作為吞吐量與品質替代指標的度量如何變化。研究比較了兩個組別:「符合條件」組別為 Agent 發佈前就已使用 Cursor 的組織;「基準」組別則是在分析期間未使用 Cursor 的組織。結果顯示,相較於基準組別的時間趨勢,合併的 PR(拉取請求)比例提高了 39%。

在其他指標方面,研究發現 PR(拉取請求)回退率沒有顯著變化,而錯誤修復率略有下降。研究也發現,每個已合併的 PR(拉取請求)的平均編輯行數與平均受影響檔案數並未出現顯著變化。
使用者行為與應用程式
請求內容反映開發者如何使用代理,以及他們打算執行的動作。在 1,000 名使用者的樣本中,啟動對話的請求大致可分為三類:實作程式碼、解釋程式碼與錯誤,以及規劃操作。多數啟動對話的請求(約 61%)屬於實作,也就是指示代理產生程式碼。

研究發現,經驗較豐富的開發者在產生程式碼前,更傾向先規劃步驟。
結語
目前仍沒有一套公認且統一的指標來衡量 AI(人工智慧)對軟體工程的經濟影響。與任何新技術相同,要充分釋放 AI 的價值仍需時間。
這些初步結果令我們備受鼓舞,我們也希望持續研究 Cursor 對生產力的影響。