测 API 速度时，首字延迟和一轮任务跑完的耗时最好分开看

[18534516725]

我是 NexoToken 的运营者，平时也维护 AI 工具的接入文档。想聊一个测 API 时容易混在一起的问题：首字出来快，和用起来省时间，不一定是同一件事。

比如准备把一个地址接进编程工具，只发一句“你好”能回答，说明这次简单请求走通了。但带上项目文件、让工具读一次文件再继续回答，又是另一条需要验证的链路。

如果是给自己的日常使用做选型，我会先把测试拆小，而不是一上来跑整个项目：

• 用固定的短问题检查基本连通，再用一段固定材料要求回答同样的问题。比较时保留模型 ID、客户端版本、输入、输出量和相关设置，缓存条件不同也记下来。
• 记录从发出请求到首段有效文本的时间，以及到正常结束的总时间。断在半路的响应另算失败或未完成，不能因为结束得早就当成“更快”。
• 编程工具再单独加一个小任务：在临时目录放一个测试文件，先只读并解释内容，再按正常权限确认流程改一行。检查实际 diff 和任务结果，别只看模型说“已经改好了”。

同一个小任务可以多跑几次，把每次的结果留下来。发请求的网络环境也要记清楚：自己终端测出来的等待时间，和评测服务器发起请求的时间，本来就不是同一个测点。

我更希望看到“首字等待、完整耗时、有没有正常结束”这几项放在一起。看完再决定要不要跑更长的任务，心里会更有数。这里分享的是检查方法，没有做一组跨站实测来给谁排快慢。

大家在实际接 CLI 或 Agent 时，最常遇到的是首字等得久，还是有字出来以后整轮任务一直收不了尾？如果后续扩展评测口径，这两类情况能否分别统计？