cannbot 网关端到端耗时基准测试报告

— s

各模型耗时对比

按底层模型家族分组,组内 cannbot 在前、官方直连在后(横条 = 中位数,细线 = P10–P90 区间)。所有统计均只计入成功请求。

颜色按模型固定(同模型同色贯穿全报告);同家族相邻排列,便于对比同一模型经不同网关的差异。

耗时分布

箱线图按底层模型家族分组(组内 cannbot 在前、官方直连在后),展示每模型耗时的五数概括与离群点;直方图展示分布形态。

箱体 = P25–P75,中线 = 中位数,须线 = P10–P90,点 = 区间外的离群样本。

每个小图独立刻度(避免被长尾压扁),x 轴单位 s,y 轴为样本数。

浅色细线为逐轮原始值,实线为 11 轮滚动中位数;✕ 标记该轮请求失败。

纵轴截断于整体 P99,个别尖峰以标注显示(见表);悬停或聚焦查看逐轮数值。

网关对比:cannbot vs 官方直连

同一底层模型经不同网关的中位耗时对比(深色 = cannbot,浅色 = 官方直连),短线为 P10–P90。

差值 = 官方直连中位数 − cannbot 中位数(秒/百分比)。

首 token 延迟(TTFT)分析

横轴 = TTFT,纵轴 = 总耗时,每模型一个分面;TTFT 占总耗时的比例(中位数)见右表。

r² 为总耗时对 TTFT 的线性拟合决定系数;悬停查看最近样本。

失败分析

完整统计表

点击表头排序;单位 s(毫秒 / 1000)。

原始数据

显示 / 隐藏全部样本