AI SSE接口压测

多轮对话会调多次copilokit接口（ threadId不一样），一轮对话如图所示：

 

 

 

 

 

首字响应时间（TTFT）、E2E端到端响应时间（包括p95响应时间、p99响应时间、min响应时间、max响应时间、avg响应时间、错误率和错误数）、Token生成速率（TPOT）、每秒请求数（QPS）

 

 

RUN_STARTED：不算 TTFT

CUSTOM：不算 TTFT

TEXT_MESSAGE_START：当前通常不算 TTFT

第一条 TEXT_MESSAGE_CONTENT：计算 TTFT

后续 TEXT_MESSAGE_CONTENT：用于 TPOT，不重新计算 TTFT

TEXT_MESSAGE_END：用于结束整个响应，影响 E2E

 

 

E2E:整个流，即：

发起 POST /api/copilotkit---->等待并读取整个 SSE 流----->SSE 流结束或遇到type=RUN_FINISHED

碰到这些情况才会结束当前的对话，然后开始下一轮对话：

一、 HTTP 非 200

二、SSE `RUN_ERROR`

三、`RUN_FINISHED` 与文本 token 缺任一项：

　　1、收到 `RUN_FINISHED` 但全程无 `TEXT_MESSAGE_CONTENT`（如 prepare 阶段失败的空结束）

　　2、有文本 token 但流结束时未收到 `RUN_FINISHED`

　　3- 两者都没有

四： 超时 / 连接异常（默认 1 小时，见 `REQUEST_TIMEOUT`）

以上都是fail

五：同时**收到 `type=RUN_FINISHED` **且**至少一个 `TEXT_MESSAGE_CONTENT` 文本事件（pass）