// LATEST

请求取消后后台线程可能还在跑:推理锁的一个细微边界

async with inference_lock 包住 await asyncio.to_thread(...),在正常完成路径中可以串行推理。但任务取消时,“协程结束”和“工作线程停止”不是同一个事件。

需要分清两条执行线

协程等待线程结果,线程运行同步模型与文件处理。若等待协程被取消,Python 不会因此自动安全中断已经开始执行的同步函数。协程退出上下文可能释放锁,而线程仍在计算。

由此可以推导一种风险:下一请求可能获得锁,与前一个尚未结束的线程重叠使用模型。上传临时目录也由外层上下文管理,取消时的清理可能早于线程对路径的最后一次使用;生成的 ZIP 如果无人接收,也可能缺少正常清理接力。

不应把客户端断开等同于必然取消

客户端断开是否触发路由任务取消,取决于 ASGI 服务器、中间件、超时与具体执行路径。本文没有复现真实断线场景,因此不能声称每次断开都会并发推理或残留文件。

这里的结论是:锁与后台工作的生命周期绑定,需要专门做取消测试。正常压测通过,不代表取消路径也正确。

可以怎样改进

一种方向是由专门任务队列或工作进程拥有模型,HTTP 请求只提交与观察任务,客户端离开不改变执行槽位归属。另一种方向是在当前结构中保证工作完成前不释放资源与锁,并让清理逻辑能够接管未被消费的结果。

这些方案都需要明确“取消只是停止等待,还是尝试终止计算”。不能简单用 shield 包一层就宣称完全解决,因为请求作用域、临时文件与结果回收仍要协调。

推荐验证方法

用会阻塞到人工信号的模型替身,启动一次请求,再在推理期间取消等待。观察锁何时释放、第二个任务何时进入、上传目录何时删除、输出包由谁清理。无需真实 GPU,就能先验证生命周期契约。

这是静态推导与测试设计,不是已确认的线上事故。能清楚标注风险条件,比把所有异步边界写成确定漏洞更有技术价值。


源码与阅读导航

本文属于「细胞分割工具链笔记」第 06 篇。依据固定提交 fd43764aac23 研读,后续版本可能不同。

全部专题与阅读顺序 · 上一篇:单进程推理锁与 GPU 设备选择:服务到底串行到哪一层 · 下一篇:标签掩膜不是彩色分类图:实例数量为什么不能取最大值

还没有评论

欢迎留下你的观点,保持交流的清晰和友好。

写下评论