测试脚本逐个发送请求,然后用 1000 / 平均毫秒耗时 打印 QPS。这是单客户端串行场景的速率估计,不能直接代表服务在并发负载下的容量。
先说清楚测量对象
脚本预先读取并编码图片,所以统计时间不包含前面的本地文件读取和 Base64 编码;每次请求仍包含传输、排队、服务处理与响应接收。服务器 processing_time 又是另一段边界,不能拿二者差值直接等同于纯网络耗时。
串行客户端只有一个在途请求,没有主动制造多请求竞争。随着并发增加,线程、模型运行时、内存和排队会呈现不同约束。串行平均延迟的倒数只描述当前场景,不是饱和吞吐。
平均值会隐藏什么
只统计成功请求的时延,会在失败率上升时给出过于好看的结果;只看均值,也可能掩盖长尾。建议同时记录总请求数、失败类型、完成吞吐、P50/P95/P99、最大在途量与资源曲线。
端到端时延 = 传输与框架开销 + 排队 + 解码
+ 模型执行 + 后处理与响应分项必须通过各自的观测点测量,这个表达式只是归因框架,不是已采集的数据。
一份可复现的性能报告
应写清硬件、系统与容器架构、模型与权重、执行提供程序、图片尺寸、并发模型、预热、测试时长和错误判定。冷启动与稳态分开,固定样本与多样样本分开,启用缓存与未启用缓存分开。
README 中的延迟、QPS、内存和 GPU 提升数字,没有在本次环境复验,因此不作为本文的实测结论。当前笔记没有进行负载测试。真正高质量的性能记录,需要可以复现的条件和原始结果,而不是把演示输出改写成容量承诺。
源码与阅读导航
本文属于「人脸识别服务源码笔记」第 16 篇。依据固定提交 b85ee88017bc 研读,后续版本可能不同。
全部专题与阅读顺序 · 上一篇:接口加了 data 信封,测试脚本为什么还会误报失败 · 下一篇:写了 Redis 配置与图片哈希,为什么还不算实现缓存
还没有评论
欢迎留下你的观点,保持交流的清晰和友好。