给编程 Agent 脱敏,别误删代码语义
TokenCap v3.1 在仓库上下文写出前统一脱敏,覆盖环境变量、连接串及 JSON、YAML 中的敏感值。其处理重点是遮蔽真实凭据,同时保留环境变量引用和数据库连接信息等代码上下文。
原文暂未完整获取,基于公开信息的快读
TokenCap 用于把仓库内容整理成供 AI 编程 Agent 读取的上下文包。根据公开摘要和原文节选,v3.1 调整了写出前的统一脱敏逻辑:既遮蔽真实凭据,也保留变量引用、类型和调用等代码信息。它要解决的是两个问题:漏掉秘密会泄露,误删代码则会让 Agent 丢失判断依据。
目前能确认什么
文件读取结果、git diff 和代码片段都会经过同一个脱敏函数。节选列出的覆盖范围包括环境变量、JSON 和 YAML 敏感值、数据库连接串,以及 HTTP Basic auth、curl -u 中的凭据;此前可能漏过的 UTF-16 文件也纳入处理。
区别在于「值」和「值的来源」。例如,process.env.SECRET、getToken(user) 和 password: string 会保留,硬编码凭据则会被替换。数据库连接串只遮蔽密码,保留用户名和主机信息。
脱敏还会保留原有分隔符与引号,避免破坏 JSON、YAML 语法。Chrome companion 使用的本地桥接通道若遇到脱敏异常,会返回错误并扣住上下文;自定义规则也扩展到了任务包、审查包等产物。
我的判断
给 Agent 脱敏,应该隐藏凭据,同时保留代码如何获取凭据的线索。
删除 process.env.SECRET 看似更谨慎,却会让 Agent 难以追踪配置来源。统一处理入口也有借鉴价值:新增上下文出口时,可以减少各处独立实现、规则遗漏的风险。
不过,保留主机名和用户名并不适合所有仓库,它们也可能暴露内部系统信息。节选没有说明这些字段能否按组织要求进一步遮蔽,也没有给出误报、漏报的测试结果。复杂语法能否可靠识别、异常时阻断是否覆盖所有出口,仍需完整原文或官方文档确认。