// LATEST

连续请求算出的 QPS,不是服务的最大吞吐量

测试脚本逐个发送请求,然后用 1000 / 平均毫秒耗时 打印 QPS。这是单客户端串行场景的速率估计,不能直接代表服务在并发负载下的容量。

先说清楚测量对象

脚本预先读取并编码图片,所以统计时间不包含前面的本地文件读取和 Base64 编码;每次请求仍包含传输、排队、服务处理与响应接收。服务器 processing_time 又是另一段边界,不能拿二者差值直接等同于纯网络耗时。

串行客户端只有一个在途请求,没有主动制造多请求竞争。随着并发增加,线程、模型运行时、内存和排队会呈现不同约束。串行平均延迟的倒数只描述当前场景,不是饱和吞吐。

平均值会隐藏什么

只统计成功请求的时延,会在失败率上升时给出过于好看的结果;只看均值,也可能掩盖长尾。建议同时记录总请求数、失败类型、完成吞吐、P50/P95/P99、最大在途量与资源曲线。

端到端时延 = 传输与框架开销 + 排队 + 解码
           + 模型执行 + 后处理与响应

分项必须通过各自的观测点测量,这个表达式只是归因框架,不是已采集的数据。

一份可复现的性能报告

应写清硬件、系统与容器架构、模型与权重、执行提供程序、图片尺寸、并发模型、预热、测试时长和错误判定。冷启动与稳态分开,固定样本与多样样本分开,启用缓存与未启用缓存分开。

README 中的延迟、QPS、内存和 GPU 提升数字,没有在本次环境复验,因此不作为本文的实测结论。当前笔记没有进行负载测试。真正高质量的性能记录,需要可以复现的条件和原始结果,而不是把演示输出改写成容量承诺。


源码与阅读导航

本文属于「人脸识别服务源码笔记」第 16 篇。依据固定提交 b85ee88017bc 研读,后续版本可能不同。

全部专题与阅读顺序 · 上一篇:接口加了 data 信封,测试脚本为什么还会误报失败 · 下一篇:写了 Redis 配置与图片哈希,为什么还不算实现缓存

还没有评论

欢迎留下你的观点,保持交流的清晰和友好。

写下评论