// LATEST

单进程推理锁与 GPU 设备选择:服务到底串行到哪一层

cellpose-kit 用启动生命周期加载模型,用 asyncio.Lock 串行进入推理,再通过 asyncio.to_thread 执行同步工作。这是一种明确的单进程资源管理策略。

锁的覆盖范围比模型调用更大

路由持锁等待整个 _run_inference,而这个函数不只执行 model.eval,还包括图片解码、写掩膜、生成预览、统计与 ZIP 打包。因此当前串行区覆盖完整结果生成阶段,不是只锁住 GPU 的那一瞬间。

这样实现简单,能减少同进程任务互相争抢,但也会让后处理耗时影响后续任务等待。是否值得拆分,需要测量各阶段成本,不能只凭“GPU 空闲”就去掉锁。

进程边界不会被锁跨越

inference_lock 是进程内对象。若增加 Uvicorn 工作进程,每个进程各有模型和锁,无法共同约束同一张 GPU。模板默认 CELLPOSE_WORKERS=1 与这个实现相配;改成多进程前应重新设计设备分配与队列。

设备 auto 会依据 CUDA 可用性选 cuda 或 cpu;显式要求 cuda 但不可用时会报错。选择 CPU 并不意味着当前 GPU Compose 预留也自动消失,部署层仍需同步调整。

数值精度配置也要入账

模型构造时,对 CUDA 设备启用 use_bfloat16。不能由此直接宣称一定更快或结果完全一致;硬件、算子与模型版本都会影响。若追求实验可复现,应把实际设备、权重和精度策略一起保存。

工作进程数 × 每进程模型副本 × 每设备任务量

这是比单看 workers 更有用的容量视角。本次没有 GPU 运行或吞吐测试,无法给出安全并发数。先把串行边界和模型副本数说清,再讨论扩容,才能避免把显存问题误当作普通 HTTP 并发问题。


源码与阅读导航

本文属于「细胞分割工具链笔记」第 05 篇。依据固定提交 fd43764aac23 研读,后续版本可能不同。

全部专题与阅读顺序 · 上一篇:三维数组不一定是三维细胞:图像轴语义不能靠 ndim 猜 · 下一篇:请求取消后后台线程可能还在跑:推理锁的一个细微边界

还没有评论

欢迎留下你的观点,保持交流的清晰和友好。

写下评论