SQLAlchemy 查询为何会触发死锁
SQLAlchemy 的自动刷新可能在查询前把待写操作发到数据库,让看似只读的调用提前拿到写锁。文章用并发会话和 InnoDB 场景解释这一步如何参与形成死锁。
AI 深度解读
一条看起来只读的 ORM 查询,为什么会让两个事务互相等锁?作者团队在 QA 压测中遇到的情况是,SQLAlchemy 在执行下一条 ORM 查询前,先把 Session 中待写入的修改发给了数据库。两个事务原本各锁住一行,这次提前写入让它们开始争抢对方手里的锁。
文章给出的处理办法是关闭自动 flush,并把写入放到明确的事务步骤里。这个改动能让 SQL 的执行顺序更容易追踪。至于能否消除死锁,要看两个事务最终以什么顺序拿锁。原文附的 SQLite 脚本,恰好可以用来说明这两件事的区别。
为什么下一条查询会先发写入 SQL
SQLAlchemy 的 Session 会跟踪对象的新增、修改和删除。flush 会把这些待处理的变化转成 INSERT、UPDATE 或 DELETE 发给数据库,事务仍然可以回滚。默认开启 autoflush 时,执行 Query 或用 session.scalars() 执行 ORM 查询,可以先触发这批写入,让同一事务接下来的查询读到刚刚写入的数据。
原文用两个 InnoDB 事务说明死锁是怎么形成的。Session A 通过 SELECT ... FOR UPDATE 锁住 X 行,Session B 用同样的语句锁住 Y 行。此时 A 有一笔对 Y 的待写入更新,B 有一笔对 X 的待写入更新。等它们各自再发起一次查询,A 在查询前尝试更新 Y,B 在查询前尝试更新 X。两个事务都持有对方需要的锁,等待成环,数据库检测到死锁后会回滚其中一个事务。
定位时,出错的调用可能是一条查询,真正参与抢锁的却是这条查询前发出的 UPDATE。作者团队报告在 QA 压测中遇到了这个问题,简单的单线程 CRUD 没能复现。原文给出的是时序示意,实际压测的 SQL 日志、并发量和死锁频率都没有公开。
关闭 autoflush 后,写入会在哪里发生
原文通过 sessionmaker() 给 Session 设置 autoflush=False,再由业务代码决定何时调用 session.flush()。下面这段原始代码展示了首次创建账户时的显式写入,以及随后对余额的修改和提交。
SessionLocal = sessionmaker(
autocommit=False,
autoflush=config.enable_autoflush,
bind=engine
)
# Simulated transaction processing
session = SessionLocal()
try:
# Query execution under explicit scope management
account = session.query(Account).filter(Account.id == 1).first()
if not account:
account = Account(id=1, balance=100)
session.add(account)
session.flush() # Explicit flush control
account.balance += 50
session.commit()
except Exception as e:
session.rollback()
raise e
finally:
session.close()
要同时看 session.flush() 和 session.commit() 两行。前者在新建账户的分支里发出插入,后者提交前仍会 flush,所以 account.balance += 50 产生的更新也会发给数据库。关闭 autoflush 改变的是查询前的自动写入时机。显式 session.flush() 还可能把 Session 里其他待处理的修改一并发出,因此排查时要看整个 Session 累积了哪些变更。代码在异常时回滚,并在 finally 里关闭会话。
SQLite 脚本实际验证了什么
完整示例用 Pydantic v2 定义配置,orjson.loads() 负责解析输入,orjson.dumps() 用 orjson.OPT_INDENT_2 输出结果。主程序使用 sqlite:///:memory:,传入 enable_autoflush=False,并在 SQLite 分支设置 check_same_thread=False。配置模型里的 isolation_level 默认是 REPEATABLE READ,示例传入 SERIALIZABLE,但 create_engine() 没有接收这个字段,因此这两个配置值都没有设置到数据库连接上。
脚本展示了一次单 Session 的查找、新建、显式 flush 和提交。第一次查询前没有待写修改,后续也没有安排一条查询来对比开启或关闭 autoflush 的行为。它还没有第二个并发事务,也没有执行 SELECT ... FOR UPDATE。即使脚本输出 status: success 和死锁防护验证成功的提示,能确认的也只是这条示例路径顺利执行。
我的判断
文章最有价值的提醒,是排查死锁时应按数据库收到的 SQL 顺序看事务。业务代码里把对象改了,不代表更新已经发出。下一行看似只是查询,也可能正是那笔更新开始等待行锁的时候。
关闭 autoflush 适合查询与写入边界清楚的事务。整套服务统一关闭之前,要检查已有代码是否依赖查询前的同步,比如新增一条记录后立即查询,且希望查到刚加入 Session 的记录。若问题集中在少数查询,可以先用 session.no_autoflush 限定范围。若多条业务路径会同时修改同一批记录,则更该核对它们是否按一致的顺序取锁。只把交叉写入从查询前推迟到提交前,循环等待仍可能发生。
原文没有提供改动前后的并发对照,也没有公布锁等待时长或死锁率。这部分属于团队经验。要判断自己的服务能否受益,得在实际使用的数据库上,用同样的并发时序检查改动后两边还会不会互相等锁。
能拿来做什么
- 排查 Python API 或后台任务的死锁时,把两个事务中的加锁查询、查询前发出的写入和最终的提交放在同一条时间线上,找出双方各自持有和等待的锁。
- 调整一个热点事务时,先列出哪些查询必须读到本事务刚写入的数据,再把
session.flush()放在这些查询之前,并核对提交时还有哪些待写修改。 - 让 AI 编程助手补验证脚本时,明确要求它使用与服务一致的数据库,建立两个独立 Session,固定两个事务的交错顺序,并记录改动前后的实际 SQL 和死锁结果。