基准
AI 加速器基准结果发布前该问哪些问题
如果厂商没有给出模型、软件栈、batch 和部署条件,结果基本不能直接拿来做决策。
看测试前提
- 模型版本、参数规模、输入长度和精度策略是否一致。
- 是否启用了特定编译优化、算子融合或私有运行时。
- 测试是在单卡、整机还是集群条件下进行。
看工程可迁移性
- 结果是否基于公开软件栈和主流框架。
- 是否需要厂商特定模型转换流程或大量定制适配。
- 跑出数字的工程成本,往往和数字本身一样重要。
基准
如果厂商没有给出模型、软件栈、batch 和部署条件,结果基本不能直接拿来做决策。