异常时放行:静态检查漏掉的认证漏洞
文章用密码校验异常后返回 True 的例子,说明错误处理可能把运行故障变成认证绕过。常规成功与失败测试、类型检查以及宽泛异常告警,都可能无法识别这一危险语义。
AI 深度解读
登录校验遇到异常,竟然返回「密码正确」。这种代码可以通过常规测试、lint 和类型检查,因为每个工具都检查了自己的范围,却没人追问:失败之后,程序为什么还在报告成功?
作者为此做了一个 Python 静态检查工具 silentcatch,专门找出没有记录、没有重新抛出的异常处理器。它的价值是把容易漏看的问题变成构建规则,但它也暴露了一个边界:工具能识别异常被吞掉,却无法判断这样做是否合理。
为什么检查全绿,登录逻辑仍然可能放人
原文用一个密码校验函数说明问题:正常路径看起来成立,危险藏在异常分支里。
def verify_password(user, password):
try:
return hash_password(password) == user.password_hash
except Exception:
return True
需要盯住的是最后一行:只要 try 内部抛异常,函数就返回 True。例如 user 意外为 None,或者哈希库升级后出错,都会让校验变成放行。
测试为什么没发现?作者设想的测试只覆盖正确密码和错误密码,两条路径都不抛异常,处理器根本没有执行。
按原文描述,flake8 和 Ruff 的默认规则不报告这个问题;Pylint 会提醒 except Exception 捕获范围过宽,但不会区分处理器是在返回 True,还是记录错误后继续。类型检查同样帮不上忙:即使声明返回 bool,这里也确实返回了 bool。
返回值类型正确,不代表失败后的业务行为正确。
作者认为,AI 编程让问题更突出:代码生成速度超过阅读速度,而「处理错误」很容易被实现成捕获异常、返回默认值,让函数看起来不再崩溃。这是作者的观察,原文没有提供不同模型的对照实验,也没有统计 AI 生成代码出现此类问题的比例。
silentcatch 检查的是失败有没有留下痕迹
silentcatch 不判断密码逻辑是否安全。它问的问题更窄:异常处理器里,有没有证据表明失败被记录或继续传递?
它通过 Python 的 ast 模块解析文件,遍历 ExceptHandler 节点,再由 detector.py 中的 _HandlerInspector(ast.NodeVisitor) 检查处理器内部语句。
visit_Raise 区分裸 raise 和抛出新异常;两者都会放行,包括使用 raise RuntimeError("failed") from e 保留异常链的写法。visit_Call 查找日志和错误上报调用,visit_Return 则记录返回兜底值的行为。
识别日志时,LOG_METHODS 包含 debug、info、warning、error、exception、critical 等方法;REPORTING_CALLS 包含 capture_exception、report、notify、print_exc 等调用。
但方法叫 error,不代表它在写日志。工具还通过 _root_name 和 LOG_RECEIVERS 检查调用对象,接受 logger、log、logging、self、app 等名称。原文专门给出测试,确保 response.error() 会被判为 Verdict.SILENT。
最终判断分三类:
- 重新抛出异常的处理器通过。
- 记录或上报错误的处理器通常通过;如果捕获范围过宽,则标记为
Verdict.LOGGED_ONLY,默认警告。 - 没有上述证据的处理器失败,包括只有
pass、返回默认值,以及其他未记录错误的写法。
在仓库演示文件 demo/payments.py 上,结果是 2 个吞异常失败、1 个仅记录日志的警告,退出码为 1。链式抛出和已标记豁免的处理器没有出现在报告里。
为什么默认只警告,还要允许手动豁免
最难处理的是 except Exception 后面确实写了日志。
Web 请求边界可以捕获异常、记录错误,再返回 500;任务执行器也可能记录当前任务失败,然后处理下一个任务。这些都是合理设计。但相同结构也可能出现在业务中间层,导致程序沿着错误状态继续运行。
工具无法仅凭语法区分,因此默认只警告,--strict 才会把警告升级为失败。代价也很明确:宽泛捕获之后,即使返回了错误结果,只要有日志,默认检查仍可能通过。
存量接入采用另一项折中。--base origin/main 通过 git 找到变更的 Python 文件,再执行 git diff -U0,从差异块头部提取变更行。只有 except 所在行被修改,发现项才会保留。
这样不用在引入工具时清理全部历史问题,但只修改旧处理器内部、不碰 except 行,就可能漏检。如果 git 不可用,工具会提示并退回全量扫描;CI 还需要 fetch-depth: 0,以确保基准引用可用。
对于确实允许吞掉的异常,可以在 except 同行或上一行写 # silentcatch: allow。可选遥测、尽力而为的缓存预热、不能覆盖原始异常的清理逻辑,都可能需要它。作者选择就地注释,是为了让决定跟着代码移动,并在 diff 中接受审查;同时建议在标记后补上理由。
作者把工具用于自身时,约 360 行代码报出了 5 个处理器,5 个都是有意吞掉异常:analyse_source 跳过 SyntaxError,analyse_file 跳过 OSError 和 UnicodeDecodeError,cli.py 中两个函数处理 git 调用失败,差异块解析器跳过引发 ValueError、IndexError 的畸形输入。
作者没有把 return None、return [] 加入安全白名单,而是给这 5 处逐一标记。因为真正隐藏故障的代码,也经常返回这些值。仓库 CI 随后在每次 push 时检查自身源码。
我的判断
我认可它把审查问题变得具体:遇到异常后,是继续传播、记录后处理,还是明确接受失败?相比笼统禁止所有宽泛捕获,这条规则更容易推动一次有内容的代码讨论。
但它适合当补充检查,不能替代异常路径测试。开头的密码函数如果加入一条日志,默认检查就可能只给警告,错误放行的行为仍然存在。测试应该验证哈希调用失败后系统如何响应,日志则负责让人看见故障,两者解决的问题不同。
误报同样不能忽略。作者自身首次运行的结果是 5 处报告全部属于有意处理,这是一个小型、作者熟悉规则的代码库,不能据此推断一般项目的准确率。原文没有大型仓库对照数据,也没有证明它能降低多少线上事故。
此外,它只做单文件分析,不追踪辅助函数或跨模块调用。audit.record_failure(e) 这样的自定义封装可能不被识别;self.error(...) 又可能因为接收对象名称符合规则而被当作日志,即使实际上没有记录任何东西。
它目前只支持 Python,需要 Python 3.10 或更新版本,仅依赖标准库,采用 MIT 许可证。前端和 Node 团队可以借鉴规则思路,但这份实现不能直接检查 JavaScript 或 TypeScript。
能拿来做什么
- 如果项目包含 Python 服务或脚本,可以通过
pip install silentcatch安装,先运行silentcatch .看看实际报告,再用silentcatch --base origin/main控制新增问题。需要把宽泛捕获后的日志警告也设为阻断时,使用silentcatch --strict;存在失败项时退出码为1,否则为0。 - 审查 AI 生成的异常处理时,逐个检查默认返回值的业务含义。对密码校验、数据读取等逻辑,补充依赖抛异常的测试,验证系统没有把失败包装成成功。
- 对合理的静默处理,在
# silentcatch: allow后写清失败为何可以接受、调用方如何处理兜底值。这样 reviewer 批准的是一项具体行为。 - 使用 GitHub Actions 的 Python 项目,可以按原文配置把发现项显示在 PR diff 内,便于审查时就地处理。
下面这段配置解决增量检查所需的基准引用问题,并运行原文提供的 Action:
name: silentcatch
on: [pull_request]
jobs:
silentcatch:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
with:
fetch-depth: 0 # needed for --base
- uses: ikramulmustafa/silentcatch@v1
with:
base: origin/${{ github.base_ref }}
重点是 fetch-depth: 0,以及用 github.base_ref 指定当前 PR 的目标分支,避免增量检查缺少比较基准。