GB/T 45087-2024 人工智能 服务器系统性能测试方法

ICS35.160
CCS L61
中华人民共和国国家标准
GB/T45087—2024
人工智能 服务器系统性能测试方法
Artificialintelligence—Performancetestingmethodsforserversystems
2024-11-28发布2024-11-28实施
国家市场监督管理总局
国家标准化管理委员会发布

目 次
前言………………………………………………………………………………………………………… Ⅲ
引言………………………………………………………………………………………………………… Ⅳ
1 范围……………………………………………………………………………………………………… 1
2 规范性引用文件………………………………………………………………………………………… 1
3 术语和定义……………………………………………………………………………………………… 1
4 缩略语…………………………………………………………………………………………………… 3
5 测试模式………………………………………………………………………………………………… 4
5.1 封闭模式…………………………………………………………………………………………… 4
5.2 开放模式…………………………………………………………………………………………… 4
6 训练性能测试…………………………………………………………………………………………… 4
6.1 测试过程…………………………………………………………………………………………… 4
6.2 训练测试要求……………………………………………………………………………………… 5
6.3 训练测试结果……………………………………………………………………………………… 6
6.4 测试场景…………………………………………………………………………………………… 7
6.5 测试场景配置要求………………………………………………………………………………… 11
6.6 指标项及测试方法………………………………………………………………………………… 12
6.7 训练用测试系统要求……………………………………………………………………………… 16
7 推理性能测试…………………………………………………………………………………………… 17
7.1 测试过程…………………………………………………………………………………………… 17
7.2 推理测试要求……………………………………………………………………………………… 17
7.3 推理测试结果……………………………………………………………………………………… 18
7.4 测试场景…………………………………………………………………………………………… 18
7.5 场景配置要求……………………………………………………………………………………… 24
7.6 指标项及测试方法………………………………………………………………………………… 24
7.7 推理用测试系统要求……………………………………………………………………………… 29
附录A (资料性) 人工智能服务器系统性能测试工具示例…………………………………………… 31
附录B(规范性) AUTOML训练测试要求…………………………………………………………… 32
B.1 训练要求…………………………………………………………………………………………… 32
B.2 训练结果日志要求………………………………………………………………………………… 32
附录C(规范性) 测试代码公开规则…………………………………………………………………… 33
C.1 通则………………………………………………………………………………………………… 33
C.2 训练测试代码公开规则…………………………………………………………………………… 33
C.3 推理测试代码公开规则…………………………………………………………………………… 33
附录D(资料性) 测试场景类型说明…………………………………………………………………… 35
D.1 图像识别…………………………………………………………………………………………… 35
Ⅰ
GB/T45087—2024
D.2 物体检测…………………………………………………………………………………………… 35
D.3 语义分割…………………………………………………………………………………………… 35
D.4 推荐………………………………………………………………………………………………… 35
D.5 自然语言处理……………………………………………………………………………………… 35
D.6 语音识别…………………………………………………………………………………………… 35
D.7 光学字符识别……………………………………………………………………………………… 36
D.8 人脸识别…………………………………………………………………………………………… 36
D.9 多模态……………………………………………………………………………………………… 36
附录E(资料性) 能效及效率指标项和测试方法……………………………………………………… 37
E.1 训练………………………………………………………………………………………………… 37
E.2 推理………………………………………………………………………………………………… 38
参考文献…………………………………………………………………………………………………… 40
Ⅱ
GB/T45087—2024
前 言
本文件按照GB/T1.1—2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定
起草。
本 文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。
本文件起草单位:中国电子技术标准化研究院、华为技术有限公司、浪潮电子信息产业股份有限公
司、英特尔(中国)有限公司、平头哥(上海)半导体技术有限公司、科大讯飞股份有限公司、新华三信息技
术有限公司、超威半导体产品(中国)有限公司、北京航空航天大学、中科寒武纪科技股份有限公司、南京
南瑞瑞腾