术语

吞吐(Throughput)

单位时间内处理了多少任务,常见于 tokens/s、samples/s、requests/s。

2026-04-07

不要孤立理解吞吐

  • 高吞吐不代表低延迟。
  • 吞吐通常依赖 batch、精度与并行度设置。
  • 看吞吐时要同时看功耗、稳定性和软件版本。