2022 年 4 月 7 日, 全球权威 AI 基准评测 MLPerf™公布最新 AI 推理 (Inference) V2.0 榜单, 浪潮 AI 服务器以最高性能获得了数据中心 (固定任务) 的全部 16 项冠军。

MLPerf™由图灵奖得主大卫・帕特森 (David Patterson) 联合顶尖学术机构发起成立, 是国际最权威的 AI 性能基准评测, 每年组织 AI 推理和 AI 训练测试各两次, 以对迅速增长的 AI 计算需求与性能进行及时的跟踪测评。MLPerf™比赛通常分为固定任务 (Closed) 和开放优化 (Open) 两类任务, 开放优化能力着重考察参测厂商的 AI 技术创新力, 固定任务则因更公平地考察参测厂商的硬件系统和软件优化的能力, 成为更具参考价值的 AI 性能基准测试。

本次是 2022 年 MLPerf™的首次 AI 推理性能评测, 旨在考察在各类 AI 任务中, 不同厂商计算系统的推理速度和能力。本次评测中, 在竞争最激烈的数据中心 (固定任务) 赛道, 共有 926 项成绩提交, 数量较上次比试翻倍, 竞争非常激烈。

浪潮 AI 服务器创推理性能新纪录

本次 MLPerf™AI 推理性能评测涵盖使用广泛的六大 AI 场景, 包括图像分类、自然语言理解、语音识别、目标物体检测、医学影像分割、智能推荐, 每个场景采用最主流的 AI 模型作为测试任务, 分别为 ResNet50、BERT、RNNT、SSD-ResNet34、3D-Unet、DLRM。MLPerf™测试要求模型推理精度达到 99% 以上, 对于自然语言理解、医学影像分割和智能推荐 3 个任务则设置 99% 与 99.9% 两种精度要求, 以考察当提升 AI 推理精度要求时对计算性能的影响。

为更加贴近实际应用情况,MLPerf™推理测试在数据中心赛道下设置了离线 (Offline) 与在线 (Server) 两种模式。离线模式代表任务所需所有数据都在本地可用, 典型场景如大批量医疗影像样本存于本地等待统一识别。在线模式则反映了大部分的即时 AI 应用, 其数据和请求以突发和间歇的方式在线送达, 例如用户在浏览购物网站时智能推荐的推理请求。

浪潮 AI 服务器此次表现出色, 以最高性能包揽了此次 MLPerf™数据中心 (固定任务) 赛道的全部 16 项冠军。

本次 MLPerf™测试中, 浪潮 AI 服务器在 ResNet50 模型任务中创造了每秒处理 449,856 张图片的性能纪录, 相当于仅用 2.8 秒即完成 ImageNet 数据集 128 万张图片的分类; 在 3D-UNet 模型任务中, 创造了每秒处理 36.25 张医疗影像的新纪录, 相当于在 6 秒内完成对 KiTS19 数据集 207 张 3D 医疗影像的分割; 在 SSD-ResNet34 模型任务中, 创造了每秒对 11,081.9 张图片完成目标物体识别及定位的新纪录; 在 BERT 模型任务中, 创造了平均每秒完成 38,776.7 个问答的性能纪录, 在 RNNT 模型任务中, 创造了每秒将 155,811 段语音转为文字的性能纪录, 在 DLRM 模型任务中, 则创造每秒实现 2,645,980 次点击预测的最佳性能纪录。

此外, 本次 MLPerf™评测还设有边缘推理赛道, 浪潮面向边缘场景设计的 AI 服务器同样表现出色, 在边缘固定任务赛道的全部 17 项任务中斩获了 11 项冠军。

随着 AI 应用在各个行业中的持续深化, 更快的推理速度, 将带来更高的 AI 应用效率与能力, 加速产业智能化转型。相比半年前的 MLPerf™AI 推理榜单 V1.1, 浪潮 AI 服务器将图像分类、语音识别和自然语言理解任务的推理性能分别提升 31.5%、28.5% 及 21.3%, 意味着浪潮 AI 服务器在自动驾驶、语音会议、智能问答和智慧医疗等等场景中, 能够更高效快速地完成各类智能任务。

全栈优化能力助推 AI 性能持续提升

浪潮 AI 服务器在 MLPerf™基准评测中的出色表现, 得益于浪潮信息卓越的 AI 系统设计能力和全栈优化能力。

本次参与测评的浪潮 AI 服务器 NF5468M6J 拥有出色的系统设计, 以分层可扩展计算架构在业界率先实现对 12 颗 NVIDIA A100 Tensor Core GPU 的支持, 并以极佳的性能成绩一举揽获 12 项冠军。浪潮信息也是本次 MLPerf™竞赛中可以唯一提供服务器支持 8 颗 500W NVIDIA A100 GPU 的厂商, 并实现了风冷及液冷两种散热方式。在此次参赛的 8 颗 GPU NVLink 高端主流机型中, 浪潮 AI 服务器在数据中心 16 个任务中斩获 14 项最佳成绩, 展现出在高端机型中的领先优势。其中,NF5488A5 是全球首批上市的 A100 服务器, 在 4U 空间支持 8 颗第三代 NVlink 互联的 NVIDIA A100 GPU 和 2 颗 AMD Milan CPU。NF5688M6 是面向大规模数据中心优化设计的具备极致扩展能力的 AI 服务器, 支持 8 颗 A100 GPU 和 2 颗 Intel Icelake CPU, 支持多达 13 张 PCIe Gen4 的 IO 扩展卡。

在硬件层面, 浪潮 AI 服务器通过对 CPU、GPU 硬件性能的精细校准和全面优化, 使 CPU 性能、GPU 性能、CPU 与 GPU 之间的数据通路均处于对 AI 推理最优状态; 在软件层面, 结合 GPU 硬件拓扑对多 GPU 的轮询调度优化使单卡至多卡性能达到了近似线性扩展; 在深度学习算法层面, 结合 GPU Tensor Core 单元的计算特征, 通过自研通道压缩算法成功实现了模型的极致性能优化。

浪潮信息是全球领先的 AI 计算厂商,AI 服务器市场份额全球第一, 连续五年以超 50% 的市场份额稳居中国 AI 服务器市场第一。浪潮信息致力于 AI 计算平台、资源平台和算法平台的研发创新, 并通过元脑生态携手领先伙伴加速数实相融。