推理延迟报告必须计入超时请求
教程用合成数据说明,只统计成功请求的延迟中位数会掩盖失败,应同时报告固定请求群体在截止时间内的完成比例。超时既不能记为零延迟,也不能当作在超时点成功完成;文中没有实际模型或 GPU 压测。
AI 深度解读
推理服务的延迟中位数只有 2 秒,用户却可能有一半请求等到超时。两个结果可以同时成立:前者只统计成功返回的请求,后者才暴露完整的等待体验。问题出在统计口径,而不一定是计算公式。
CloudGPU 这篇教程提出了一个很小、却容易漏掉的修正:把失败请求留在分母里,同时单独报告成功请求的延迟。它用合成数据和 Python 脚本演示这一点,适合拿来检查 AI 应用的性能报表,但不能当作任何服务商的性能实测。
中位数 2 秒,为什么仍可能不好用
作者构造了 4 个逻辑请求:两个分别在 1 秒、3 秒完成,另外两个等到 10 秒后超时。只看成功请求,中位数是 2 秒;如果产品要求在 10 秒内完成,达标比例却只有 2/4,也就是 50%。
这两个指标回答不同的问题。成功请求的中位数描述「拿到完整结果的人等了多久」,截止时间内完成的比例描述「所有发起请求的人,有多少及时拿到了结果」。
失败请求必须留在分母里,但不能被伪装成一次成功完成。
把超时耗时改成零,会让失败越多的服务看起来越快;把它记成一次 10 秒完成,也不成立。客户端只知道自己停止等待,没有观察到服务端完成。
因此,这里的 50% 只是四行数据的算术结果,不是任何服务的失败率,也不足以支持尾延迟结论。
先定义一行代表什么,再计算指标
作者建议每个逻辑用户请求占一行,从最初发起,一直计时到完整响应到达或客户端最终失败。中间如果发生重试,重试耗时和等待间隔都要算进去;每次 HTTP 尝试则放在另一份数据里。
这个区分很实际。一次用户操作可能触发多次网络尝试,混着统计,就会把「用户发起了多少次请求」变成「客户端尝试了多少次」,分母悄悄换了。
状态也要提前定义:ok 只表示完整响应到达并通过协议检查,不保证答案正确;timeout 表示达到客户端等待上限;error 表示其他终止失败,实际系统还应继续细分错误原因。
下面保留原文的聚合函数。将它保存为 report.py,再加入调用代码,就能同时计算截止时间达标比例和成功请求中位数:
import math
from statistics import median
def summarize(rows, deadline_s):
if type(deadline_s) not in (int, float) or not math.isfinite(deadline_s) or deadline_s <= 0:
raise ValueError('deadline_s must be positive and finite')
rows = list(rows)
if not rows:
raise ValueError('empty cohort')
seen, successes = set(), []
for row in rows:
request_id = row['id']
elapsed = row['elapsed_s']
if not isinstance(request_id, str) or not request_id or request_id in seen:
raise ValueError('missing or duplicate id')
seen.add(request_id)
if type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed < 0:
raise ValueError('invalid elapsed_s')
if row['status'] not in ('ok', 'timeout', 'error'):
raise ValueError('unknown status')
if row['status'] == 'ok':
successes.append(elapsed)
total = len(rows)
on_time = sum(t <= deadline_s for t in successes)
return {
'requests': total,
'completed': len(successes),
'timeouts': sum(r['status'] == 'timeout' for r in rows),
'errors': sum(r['status'] == 'error' for r in rows),
'completed_by_deadline': on_time,
'completed_by_deadline_fraction': on_time / total,
'success_only_median_s': median(successes) if successes else None,
}
要看的是 on_time / total 这一行:分子只认截止时间内成功完成的请求,分母包含所有请求。t <= deadline_s 则明确规定,恰好在截止时间完成也算达标;全部失败时,中位数返回 None,不能写成零。
用下面的合成数据调用即可复现原文结果:
if __name__ == '__main__':
synthetic = [
{'id': 'a', 'status': 'ok', 'elapsed_s': 1},
{'id': 'b', 'status': 'ok', 'elapsed_s': 3},
{'id': 'c', 'status': 'timeout', 'elapsed_s': 10},
{'id': 'd', 'status': 'timeout', 'elapsed_s': 10},
]
print(summarize(synthetic, deadline_s=10))
运行 python3 report.py,结果包含 4 次请求、2 次完成、2 次超时、0 次其他错误,截止时间内完成比例为 0.5,成功中位数为 2.0 秒。注意 deadline_s=10 是统计达标用的阈值,函数并不负责设置网络客户端的超时。
代码能拒绝重复 ID 和非法数值,却发现不了日志根本没记下来的请求。作者要求运行结束后,把记录里的 ID 与启动日志核对,并等所有请求进入终止状态再汇总。真实计时可使用 perf_counter 两次读数之差,不能直接拿服务端时间戳减客户端时间戳,假设两边时钟一致。
这张表能说明等待体验,却不能包办性能评估
完整响应耗时不等于首个可用 token 的延迟。流式接口可能很快开始输出,随后卡住;连接建立事件、空的元数据块,也未必代表用户已经看到可用内容。需要流式体验时,应同时记录首个可用 token、完整响应的时间边界,以及流是否完成。
它也不计算吞吐量。并发请求的执行时间会重叠,把每条请求耗时相加,得不到整场测试的实际经过时间,不能据此算每秒请求数或每秒 token 数。
另外,ok 不评价内容质量,客户端超时也不能证明服务端已取消任务,更不能推断费用。答案质量要另设标准;取消状态和计费要查服务文档、任务状态及账单记录。
真正比较不同配置,还要保留模型修订版本、提示词或获准的测试集标识、输出限制、并发度、重试策略、超时设置、预热处理及测量窗口。冷启动和已预热请求应分组报告,公开结果时移除凭据和私有提示词。
截止时间必须在看结果之前选定,否则很容易把标准调到某个配置刚好获胜的位置。
我的判断
这篇最有用的地方,是把成功率和延迟放回同一个请求集合里解释。相比只报成功请求的 P50,它更接近交互功能真正关心的事情:用户能不能在可接受的时间内拿到完整结果。
不过,它是统计口径教程。原文明确披露:全部数字都是合成的,代码只在 Python 3.9.6 本地测试过,没有压测模型端点或 GPU;教程由自主 AI agent 代表 CloudGPU 起草、检查并执行测试,也不是人类作者的生产实践报告。
本地检查覆盖了全超时、晚于截止时间成功、恰好到点完成、空集合、重复 ID、NaN、负耗时、布尔耗时、未知状态和非法截止时间。这能验证聚合行为,不能证明真实客户端不会漏日志,也不能证明某种服务更快。
原文没有提供不同报表方案影响业务判断的对照数据,更没有服务性能对照。我的取舍是保留现有成功延迟指标,再补上全量状态计数和按时完成比例。更大的样本、不确定性分析和任务质量评估,仍然需要另做。
能拿来做什么
- 给 AI 功能的性能报表补上总请求数、完成数、超时数、其他错误数,以及预先指定截止时间内的完成比例,并明确标注延迟统计只覆盖成功请求。
- 检查 Node 请求层的重试记录,让同一个用户请求保持同一逻辑 ID,将等待和重试计入总耗时,同时另存每次 HTTP 尝试的明细。
- 为前端流式交互分别记录首个可用 token 和完整响应的时间,保留最终完成状态,避免仅凭开始输出快就判定体验良好。
- 比较模型配置前先固定并发、输出限制、重试、超时和预热规则,结束后核对启动日志与结果 ID,再生成统计报告。