8.0
热点
AI SCORE
编程提效2026-11-15 12:00
在真实仓库中检验 AI 编程助手
dev.to · AI#AI编程#工具评估#Git
Editor brief · 编辑速览
文章建议在熟悉仓库的独立 Git worktree 或一次性克隆中,用自己能判断的任务测试 AI 编程助手。评估依据是代码差异和测试结果,同时保留项目真实结构、约定与历史问题。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
dev.to 上一篇文章给出了评估 AI 编程助手的具体办法:拿熟悉的真实仓库,在独立 Git worktree 或一次性克隆里,让助手完成自己能判断对错的任务。判断依据是代码差异和项目测试,而不是聊天回答是否漂亮。这套方法针对的是你维护的代码库,不是产品排行榜。
目前能确认什么
作者建议保留项目真实的目录结构、测试、代码约定和历史问题,同时把试验放在可丢弃的分支里,排除 .env、部署密钥和生产连接串。Git worktree 可以为同一仓库创建另一份工作目录,方便隔离试验改动。
任务要提前写好,共四类:解释熟悉的模块及其边界情况,修复可复现的失败,按项目风格完成小改动,以及遵守明确的文件修改禁区。比较不同工具时,使用相同 commit 和相同任务。
验收时先看 git diff、git status,再亲自运行项目已有的测试命令。虚构 API、删除或跳过测试、修改范围外的文件,都应算失败。
测试通过只是门槛,靠削弱测试获得的通过仍然不合格。
我的判断
对团队选型,这套方法最有用的地方,是把讨论落到可检查的交付物上:助手是否复用了已有工具函数,是否遵守错误处理约定,审查者能否迅速看懂改动。两个工具都通过测试且符合范围时,作者倾向于选择改动更少、审查更省力的那个。
但四类任务只能覆盖有限场景。节选没有给出重复试验次数、提示词如何控制,也没有提供具体产品的实测结果,因此不能据此认定某个助手更强。
这是一套仓库内的验收办法,不能替代后续每一次 PR 审查。