// LATEST

600 秒超时不一定是总任务截止时间,inference_ms 也不是总耗时

客户端配置里写着 600 秒,元数据里又有 inference_ms。两者很容易被误读成“总任务最多十分钟”和“接口耗时就是模型耗时”,但实际测量边界并不相同。

超时传到了哪里

脚本把 timeout 传给 HTTPConnection 或 HTTPSConnection。它没有显式维护一个全流程的单调时钟截止时间,因此不能只凭这个值承诺从读取文件到解压结束都受同一总预算约束。

上传、等待响应、持续读取与解压是不同阶段。网络持续有进展时,单次阻塞操作的超时与整个任务总用时也不是同一概念。若要总截止时间,需要明确每阶段如何消耗剩余预算,以及到期后服务端任务如何处置。

inference_ms 包含什么

服务使用 perf_counter,只包围 model.eval。图片读取在计时前,掩膜转换、写 TIFF、预览、CSV、metadata 与 ZIP 在计时后;等待推理锁、上传与下载同样不在其中。

用户等待 = 上传 + 等锁 + 解码 + 模型调用
         + 后处理/打包 + 下载 + 解压
inference_ms ≈ 当前代码包围的 model.eval 调用区间

GPU 工作可能具有异步执行特性,具体调用是否在返回前完成必要同步,需要结合所用库实现判断。这里不能直接把一次 Python 计时当作通用 GPU 内核基准。

怎样建立有用的耗时记录

建议记录客户端总耗时、服务端排队、解码、模型、后处理和传输,并明确单位与时钟。健康检查的几秒超时只针对轻量探针,不应复制给耗时分割任务;反过来,分割任务的长超时也不适合普通健康请求。

本文没有测量实际网络或 GPU 性能。准确的性能笔记首先要写清计时器包围了哪几行,否则不同人拿着不同口径的毫秒数,很难讨论同一个问题。


源码与阅读导航

本文属于「细胞分割工具链笔记」第 17 篇。依据固定提交 fd43764aac23 研读,后续版本可能不同。

全部专题与阅读顺序 · 上一篇:调整分割参数前,先证明你比较的是同一个实验 · 下一篇:不装 GPU 也能先验收工具链:从小夹具到真实分割的分层测试

还没有评论

欢迎留下你的观点,保持交流的清晰和友好。

写下评论