7月10日,路透社报道称,非营利组织METR发布的一项最新研究表明,与普遍认知相悖的是,经验丰富的软件开发者在使用先进的人工智能编程工具处理熟悉的代码库时,其工作效率并非如预期般提升,反而出现了显著下降。
该研究选取了一批资深程序员作为测试对象,要求他们借助当前流行的AI编程辅助工具Cursor来完成自己熟悉的开源项目任务。
在实验开始前,这些开发者普遍预计AI工具能够显著提升他们的工作效率。他们估算使用AI后可以将任务时间缩短24%。然而,在实际操作完成后,尽管他们依然认为节省了约20%的时间,但研究数据显示,实际上任务完成时间却增加了19%。
研究的两位负责人乔尔·贝克和内特·拉什对此感到非常意外。在研究开始前,拉什还曾预测效率将提升一倍。
这一发现对”AI技术能够显著提高高薪工程师工作效率”这一普遍观点提出了挑战,而这也是推动大量资金涌入人工智能软件开发领域的主要原因之一。同时,这也被视为将初级程序员岗位”取代论”的有力论据。
然而,过去的研究显示,在某些情况下AI技术确实能显著提升编程效率:一项研究发现程序员的速度提高了56%,另一项则表明开发者在固定时间内能够完成的任务量增加了26%。
但METR的新研究表明,这些积极结果并不适用于所有场景。尤其是当经验丰富的开发者面对熟悉的大规模成熟开源代码库时,反而出现了效率下降的情况。
研究作者指出,许多相关研究依赖于基于AI的基准测试,而这些测试往往无法真实反映现实中的工作任务情境。据调查,效率降低的主要原因是开发者需要花费额外时间来验证和修正AI提供的代码建议。
贝克解释道:”AI给出的建议方向基本正确,但在细节上可能并不完全符合实际需求。”
作者强调,这种效率下降的现象不太可能出现初级开发者或对新代码库不熟悉的工程师身上。
尽管如此,大多数参与研究的开发者和研究人员仍然选择继续使用Cursor工具。他们认为,AI让编程过程变得更加轻松愉快,就像在修改一篇已完成的文章,而不是从零开始创作一样。贝克表示:”开发者的终极目标不仅是尽快完成任务,更愿意选择一条付出努力最少的道路。”