线程池不等于无限并发:人脸推理服务的排队边界
源码把同步推理交给 ThreadPoolExecutor,让异步路由不必直接在事件循环中执行模型。这是调度方式的改进,但不能据此认定服务已经拥有完整的并发保护。
源码把同步推理交给 ThreadPoolExecutor,让异步路由不必直接在事件循环中执行模型。这是调度方式的改进,但不能据此认定服务已经拥有完整的并发保护。
cellpose-kit 用启动生命周期加载模型,用 asyncio.Lock 串行进入推理,再通过 asyncio.to_thread 执行同步工作。这是一种明确的单进程资源管理策略。