本地模型 Qwen3.5-2B-Q4_K_M.gguf，上下文 65536，2026-10-23 09:58

## 实验 1：输入变长，只生成 8 个 token

| 输入 token | prefill 用时 | prefill 速度 |
|---|---|---|
| 1,041 | 0.61 秒 | 1,703 token/秒 |
| 4,154 | 0.78 秒 | 5,293 token/秒 |
| 16,865 | 3.44 秒 | 4,906 token/秒 |
| 51,203 | 14.09 秒 | 3,635 token/秒 |

## 实验 2：输入很短，输出变长

| 输出 token | decode 用时 | 每个输出 token | decode 速度 |
|---|---|---|---|
| 50 | 0.27 秒 | 5.5 毫秒 | 183 token/秒 |
| 200 | 1.09 秒 | 5.5 毫秒 | 182 token/秒 |
| 800 | 4.37 秒 | 5.5 毫秒 | 183 token/秒 |

## 实验 3：同一份长文档上连问 6 轮

| 轮次 | 追加：重算 / 复用 token | 追加：prefill 用时 | 时间戳：重算 / 复用 token | 时间戳：prefill 用时 |
|---|---|---|---|---|
| 1 | 51,135 / 0 | 17.84 秒 | 51,258 / 0 | 14.19 秒 |
| 2 | 17 / 51,150 | 0.04 秒 | 51,289 / 0 | 14.46 秒 |
| 3 | 18 / 51,182 | 0.04 秒 | 51,321 / 0 | 14.24 秒 |
| 4 | 17 / 51,215 | 0.04 秒 | 51,353 / 0 | 14.17 秒 |
| 5 | 17 / 51,247 | 0.04 秒 | 51,386 / 0 | 14.23 秒 |
| 6 | 18 / 51,279 | 0.04 秒 | 51,419 / 0 | 14.25 秒 |

6 轮一共重新计算的输入 token：只在末尾追加 51,222，开头插时间戳 308,026。
用按量计费的 API 时，重新计算的这部分按未命中价收费，复用的部分按命中价（通常便宜一个数量级）。

原始 timings 已存到 sample_output/local_qwen3.5-2b-q4km_m3ultra_20261023.json