基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-18 08:00

研究智能体把撤回与批准设为不同权限

dev.to · AI#智能体权限#多模型审查#证据追溯
Editor brief · 编辑速览

作者让研究智能体引用已冻结的原文片段登记论断,并允许它撤回论断,将批准留给独立审查。案例中,只读 Codex 对照代码和数据找反证,Gemini 检查论断是否符合工具的目标与边界。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

一个研究工具里有 6 条证据主张等着复核。主 Claude 会话已经对其中大部分有了判断,工具也有命令能写入结论。但两位外部复核者看完后,建议 3 条撤回,另外 3 条留给作者亲自决定是否通过。

这次复核把两个容易混在一起的动作拆开了:给出判断和写入正式结论。更有意思的是,复核者当场纠正了主会话的一处事实错误,而交给人执行的脚本也只写成了 2 条。做 AI 编程工作流时,这两个细节比「多找一个模型看看」更值得琢磨。

为什么撤回可以委托,通过要留给人

作者的研究工具会收集来源、冻结原文,再让 Agent 登记指向具体文本片段的主张。主张登记后处于待审状态,可以标为 passed、withdrawn 或 failed。passed 会把主张纳入可用证据,withdrawn 会把它移出可用集合。这个工具明确排除自动采纳主张,因此谁能写入 passed,会直接影响这条约束能不能守住。

作者让主 Claude 会话找两位复核者。Codex 以只读方式工作,对照代码和数据找反例。agy(Gemini)检查方向和反目标,也就是这个工具明确排除的行为。两位复核者同意的事项才推进,意见相左的事项记下来暂缓,主会话无权拍板。

agy 提醒的是,如果一条主张由 Agent 拟定判决,又由同一个会话写入 passed,外部复核的意见再一致,最终采纳仍是自动完成的。于是这批 6 条主张中,主会话和复核者建议撤回 3 条,另外 3 条的通过决定交给作者。作者也把理由限定在这个工具里:约束针对的是把证据纳入可用集合,撤回走的是相反方向。这批记录没有验证更广泛的原则。

对照原文,能纠正判决理由和待办状态

Codex 独立看完了 6 条主张。对其中一条,它认为主张从含义上可以通过,还指出主会话在 10 月 31 日给出的「没有研讨会证据」有误。冻结原文第 136 行的 Comments 明确写着 Peer-reviewed by NECO 2018 Workshop,主 Claude 会话打开文件后确认了这一行。

这条最终仍被建议撤回,因为同批里有一条更新的主张已经取代它。撤回理由也随之改成「被后续版本取代」。如果只核对最终状态,两次判断看起来一样,留档却差得很远:旧理由会让后来的人误以为来源里缺少一项实际存在的证据。另一条留给作者决定是否通过的主张也有类似的措辞问题。原文说的是 even the strongest frontier models,主张写成了 frontier models。Codex 认为这是小幅泛化,仍建议通过,作者保留了亲自裁决的权力。

同一天的下午报告还把 6 个已经处理的事项列成了待解决,包括学术搜索预算、由 wiki HTTP 429 响应造成的行数下降、不适用的 WAF PDF 条目、语料搜索命令的换行问题、全文 XML 处理,以及 counsel 输出中的 v2 编号。Codex 对照代码和部分测试逐项核实,确认都有修复或解释。问题出在会话用 grep 找到了前面的「未确认」,却没继续读同一节后面记下的处理结果。把已解决的问题重新打开会增加工作量,把仍有问题的证据标为可用则会影响后续判断。

复核有分歧时缩小范围,写入结果要另验

两个新功能提案都遇到了分歧。对于实体属性的矛盾检查,Codex 建议先搁置,因为主体、属性、时间段和单位只要有一项没对齐,就可能误报,agy 则建议开始做。对于自动判断网页抓取了多少,Codex 支持先识别明确的异常信号,agy 担心它会让评估结果变成拦截条件,触碰工具的反目标。两项都先暂缓,直到第 3 轮缩小任务范围,团队才实现双方同意的精简版本。

第一批改动完成后,Codex 审查了未提交的 diff,给出 6 个发现。主会话先逐一复现,再修复全部问题,并补了 15 个回归测试。问题包括把后一项任务被拦截的原因错记到前一项已通过的任务上,以及共享段落索引只记每个分块的首次位置,漏掉了一段 300 字符的共同文本。通过的测试数从 1069 增至 1102,第 3 轮后达到 1124。Codex 的沙箱无法创建临时文件,也就跑不了 pytest,这些完整测试结果来自主会话。

写入复核结论时,CLI 拒绝了非交互调用,提示所有者直接在终端执行。主会话选择遵守限制,把 6 条命令写进 shell 脚本。作者运行后只写成了 2 条撤回记录,其中一次 8 字符确认输入不匹配,set -e 让脚本提前退出。替代脚本让每条命令独立执行,通过了 bash -n 语法检查,也收录了另一个会话新增的 4 条待审主张,由主会话和 Codex 分别判断过。截至发稿,作者还没有第二份脚本的执行记录。

我的判断

这个案例最有说服力的地方,是能看到复核具体改了什么。第 136 行让一条错误理由无法继续留档,已解决的 6 个事项也能逐条回到代码和测试里查。相比让两个模型各给一次「同意」或「不同意」,让其中一个找原始证据、另一个查产品边界,更容易看出分歧到底发生在哪。原文没有给单模型与双复核的对照数据,这仍是一次有具体记录的经验之谈,无法据此推算准确率或节省的时间。

权限上的证据更有限。眼下代码实际拦截的是非交互写入,passed 由人决定则是这次复核记录下来的规则。如果 CLI 将来接受非交互写入,这批记录里没有另一道机制能挡住 Agent 写入 passed。作者也还没验证 CLI 能否区分脚本驱动的终端和人在键盘上输入。相比依赖终端是否存在,在写入端直接校验谁可以采纳证据,更贴合这个工具要守的边界。撤回能否委托,则取决于移出证据集合会给下游带来什么影响。

能拿来做什么

  • 做文档检索或证据归档工具时,给 AI 生成的候选结论保留待审状态,并让有权采纳的人通过独立入口提交 passed。
  • 用 AI 复核前端或 Node 的改动时,把任务拆成对照代码和测试找反例、检查改动是否越过产品边界两项。意见不一致时,先记下具体分歧,再缩小改动范围。
  • 让 AI 根据批次笔记整理待办时,要求它读完命中位置所在的小节,并为每条待办标明最后一条状态记录。
  • 接手 AI 生成的批量写入脚本时,先检查单条失败会不会中断后续命令。运行后按记录逐条核对实际写入状态,再决定哪些命令需要重跑。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
给 Redis 过期时间加抖动,分散回源压力
下一篇
银行开户审核如何接入多模态模型

资讯速览

dev.to · AI · 2026-11-18 08:00

AI 评分 8.0 / 10

相关标签

#智能体权限#多模型审查#证据追溯

继续阅读

  • 模型没改却变差了,怎样排查漂移
  • 给 Redis 过期时间加抖动,分散回源压力
  • 银行开户审核如何接入多模态模型
  • 用反事实回放检验 Agent 是否采信证据
  • 接入 MCP 前先审查工具描述和权限