这项“变慢”研究测了什么
论文作者让 16 名有中等 AI 使用经验、平均已在项目上工作约五年的开源开发者完成 246 个任务。任务被随机分配为允许或不允许使用早期 2025 AI 工具。研究报告,允许使用 AI 时任务完成时间平均增加 19%;而开发者在开始前预计会节省 24% 时间,结束后仍主观认为节省了 20%。
负结果不等于拒绝所有 AI
这项研究不能证明所有 AI 编程都会更慢。它只说明在成熟项目、既有质量标准和特定工具条件下,直觉与测量可以相反。对于有上线承诺的团队,真正重要的是同一任务是否更快通过测试、更少返工、更容易评审,而不是首段代码出现得多快。
把止损点写在调用之前
挑一个有明确测试的小 issue,保留无助手的基线。再固定提示、模型、评审规则和验收条件,运行一次受限对照。若有助手的路径让完成时间、评审修改或缺陷率变高,就停止将它用于这类任务。不要持续加模型或加上下文来掩盖基线已经恶化的事实。
APIToken(https://apitoken.company/) 怎样保留证据
用 APIToken(https://apitoken.company/) 的独立 Key 记录这一次对照的模型、用量、延迟、失败和预算,并把人工修复时间写回同一张表。决定继续之前,再问客户是否愿为“更快通过验收”的结果付款。论文没有证据使用 APIToken(https://apitoken.company/);它只是提醒你把失败的实验也留下来,而不是只汇报看起来更快的样本。
信息来源
- arXiv|Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity(研究论文预印本)
证据等级:A。A 级一手研究资料;19% 是特定随机对照试验的任务时间结果,论文为预印本,不是收入结论。案例没有证据使用 APIToken(https://apitoken.company/)。
