8.0
热点
AI SCORE
编程提效2026-11-18 03:30
AI 代码时效检查令单次回答成本增至4至18倍
dev.to · AI#编程智能体#依赖检查#调用成本
Editor brief · 编辑速览
Since 团队用 60 条日常编程提示评估依赖时效检查,覆盖退役模型、停止维护的运行时和有已知漏洞的依赖版本。该团队测得,接入检查工具后,单次回答成本升至原来的 4 至 18 倍。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
Since 团队用 60 条日常编程提示测试了 9 个模型,发现让模型在写代码前查询依赖状态、在回答前检查代码,可以减少使用已退役或即将停用组件的回答。在这轮评测里,接入检查后,同一个模型的单次回答成本升至原来的约 4 至 18 倍。作者公开了这组成本数据。
目前能确认什么
每个模型把同一批提示答了两遍,一遍独立作答,一遍可以调用 whats_changed 查询变更,再用 check_code 检查生成的代码。团队检查了所有回答的代码块,按每条回答中最严重的问题计分。各模型含已退役或即将停用组件的回答占比,从独立作答时的 16.9% 至 44.1%,降到接入工具后的 0% 至 6.8%。
成本增加的一部分来自工具返回的文本。模型要把这些文本读进上下文,输入 token 也会计费。这轮测试还有两处工具缺陷,查询可能返回空结果,检查报告也可能被截断。团队修复后只披露了 12 条回答的试跑结果,修复版在全量任务上的表现还不清楚。
我的判断
我会优先把检查用在新项目初始化、依赖升级和接入新模型 API 这类任务上。生成的版本号和模型 ID 容易被直接复制进配置。一段只重构现有函数的代码,如果没有引入新依赖,额外查询的收益就更难体现。
要决定是否默认开启,还缺一笔账。评测算的是单次回答,节选没有给出后续重试、人工排查和修复的成本。只有把这些开销也计入,才能判断哪些任务值得为检查多付一次调用成本。