// LATEST

线程池不等于无限并发:人脸推理服务的排队边界

源码把同步推理交给 ThreadPoolExecutor,让异步路由不必直接在事件循环中执行模型。这是调度方式的改进,但不能据此认定服务已经拥有完整的并发保护。

八个线程究竟限制了什么

默认 THREAD_POOL_WORKERS=8 限制同时执行的线程任务数,不等于限制整个系统接受的请求数。当前路由没有显式的有界等待队列、信号量或过载拒绝策略。大量请求可以先完成 JSON 与 Base64 处理,再等待执行器,期间继续占用内存。

process_face_comparison_async 从提交前开始计时,等待结果后结束,因此其 processing_time 包含线程池排队和核心调用,而不是纯模型计算。若队列增长,时延上升并不自动说明模型本身变慢。

模型线程安全需要证据

所有线程共享同一个 face_service.face_analyzer。源码没有对共享分析器加锁,也没有提供并发安全验证。不能仅凭使用 ONNX Runtime 就宣布整个 FaceAnalysis 调用链线程安全;前后处理、模型封装及版本都应一起考虑。

建议从并发度一开始逐步增加,观察错误率、内存和尾延迟,并针对相同输入检查结果一致性。这里没有执行此类压测,不能给出安全线程数。

一个可讨论的容量模型

若平均到达速率为 λ、平均在系统停留时间为 W,稳态平均在途请求量可用 L=λW 做初步估算。它不负责预测爆发流量,也不能替代实际分布,但能提醒我们:排队延长会放大同时驻留的数据量。

更稳妥的服务入口应在昂贵解码前决定是否接纳请求,设置最大等待量和截止时间,并在过载时清楚返回拒绝,而不是无限排队。客户端超时后,已经提交的同步推理也不应被想当然地视为停止。

应测什么

分别记录入口排队、执行器等待、图片解码、模型调用和响应组装时间。测试时同时观察健康接口是否仍及时响应。吞吐量、响应性和有界资源是三个目标,不是一句“支持异步”就能全部证明。


源码与阅读导航

本文属于「人脸识别服务源码笔记」第 08 篇。依据固定提交 b85ee88017bc 研读,后续版本可能不同。

全部专题与阅读顺序 · 上一篇:人脸计数接口为什么会把推理失败包装成零个人脸 · 下一篇:配置看起来兼容 Pydantic 两代,为什么仍要逐行核对

还没有评论

欢迎留下你的观点,保持交流的清晰和友好。

写下评论