智东西5月18日报导，上月月末，国际性权威性AI标准检测MLPerf™发布2021年全新推理检测排行榜。

在其中在图像分类性能检测中，阿里云服务器震旦异构计算加快服务平台，根据NVIDIA A100 GPU服务平台和对外开放标准，在线下情景下为每秒钟解决107.八万张图片的考试成绩，摆脱了先前Google维持的肯定性能排行榜的世界记录。这也是阿里巴巴在通用性GPU服务平台第一次获得100w那样的考试成绩。

而从MLPerf推理1.0的肯定性能排行榜，大家不但能见到每款硬件系统的整体实力主要表现，并且能见到硬软系统软件优化所充分发挥出的潜力。

一、从MLPerf推理排行榜考试成绩，看将来AI算力基础设施建设的优选

MLPerf推理1.0考试成绩递交或是以硬件配置生产商参加为主导，每一次新的AI集成ic公布，都是会产生考试成绩的飞速发展，例如根据NVIDIA全新Ampere构架的A100 、A30和A10等，在本次MLPerf 1.0 推理检测排行榜全部类型中展示出的性能均创出纪录。

NVIDIA做为唯一一家对于大数据中心和边沿类型中的每一项检测都递交結果的企业，在全部MLPerf工作中负荷中都展示出顶尖的性能。

NVIDIA A100选用全新升级的Ampere构架，并给予了许多 新的作用特点，性能比上一代商品提高达到20倍。A100引进了开创性的作用来优化推理工作中负荷，它能在FP32到INT4的全部精密度范畴内开展加快。多案例GPU（MIG）技术性，容许好几个inference业务流程另外根据单独A100运作，另外有有着自身单独的GPU資源互不干扰，进而优化云计算服务器的使用率。在A100别的推理性能增益值的基本上，仅结构型稀少一项就能产生二倍的性能提高。

但在本次推理性能排行榜考试成绩递交和最后的考试成绩上，大家也看到了一些新转变，那便是更为普适的硬软协作优化产生了更强的性能提高。

除此之外，从2020年的MLPerf递交标准上，大家也见到MLPerf也是有方案来提升以优化算法优化为总体目标的检测规范，进而激励优化算法自主创新，让许多 软件开发公司也是有参加和递交比赛数据信息的驱动力。

本次阿里云服务器震旦异构计算加快服务平台根据英伟达显卡通用性GPU硬件配置，根据深度学习实体模型的全自动优化技术性，大幅度提高了算子的实行高效率，更新了英伟达显卡GPU单卡性能。不论是新发布的A100和A10，或是已投入市场三年的T4，都能产生单卡性能的大幅度提高。

在未来的AI算力行业，通用性AI集成ic（GPU）硬件配置 通用性异构计算加快服务平台，才算是将来的AI算力基础设施建设的优选。而特有硬件配置（TPU等） 特有手机软件，即便在单芯片高效率/耗能上领跑，但在优化算法兼容和移殖，及其最后的TCO上并不一定占优势。

二、阿里云服务器震旦异构计算加快服务平台：每秒钟解决107.八万张图片

阿里云服务器自研震旦异构计算加快服务平台，兼容GPU、ASIC等多种多样对映异构AI集成ic，优化编译程序编码，深入分析和释放出来对映异构集成ic算力，适用TensorFlow、Caffe、PAI等多种多样深度神经网络架构，可完成AI架构及优化算法的无缝拼接转移兼容，适用云变端多情景迅速布署，大幅度提高AI应用程序开发高效率。

在MLPerf最新版本的图像分类检测中，震旦服务平台对于图像分类神经系统网络结构开展全自动优化，在确保标准检测精密度总体目标的另外，远超标ResNet50 v1.5的测算高效率。在MLPerf推理性能检测結果1.0版中，震旦异构计算加快服务平台，根据8卡NVIDIA A100 GPU配备上性能夺冠军，在对外开放标准的线下情景下获得每秒钟解决107.八万张图片的考试成绩。

由于MLPerf跑道过多，阿里云服务器震旦精英团队只参加了图像分类这一个大情景的数据信息递交，一个大的情景下又分成封闭式标准和对外开放标准，因此 实际到某一十分实际标准的跑道下，有可能仅有一个竞选数据信息；此次递交阿里云服务器总共递交了20个情景的結果。

在对外开放标准（open division）即容许硬件软件优化的标准下阿里云服务器创出全部递交类型的第一，并大幅度领跑。在封闭式标准下（closed division）阿里云服务器获得了五项第一。

三、优异的成绩身后：手机软件全自动调优 硬件配置算力提升

在MLPerf推理性能测试1.0版（MLCommons Inference Benchmark）的发布結果中，阿里云服务器震旦异构计算加快服务平台往往在本次测评中获得这般优异的成绩，归功于其优异的硬软协作优化工作能力。

最先在高层优化算法实体模型上，应用根据自动机器学习培训（AutoML）的设计模型方法，这类方法能够得到比人力设计方案更高效率的实体模型。震旦根据MIT的优秀的神经系统网络结构优化算法Once-For-All，应用了根据增强学习的研发优化算法得到了高性能子互联网；以后根据INT8量化分析得到硬件加速器再次提升性能，并在量化分析前开展深层重训炼，以确保量化分析后的精密度可以做到检测的精密度规定。

图中为高性能子互联网平面图， IRB即翻转方差块（Inverted Residual Block），是用以网络结构检索的基本上控制模块。每一个翻转方差块包含三层卷积和算子，图上翻转方差块的长短意味着了该块的輸出channel总数。

一般深度学习架构的算子完成致力于优化流行的神经系统网络结构，而针对NAS的翻转方差块则高效率不佳，震旦应用了根据全自动调优的规模性算子结合技术性，大幅度提高了推理时算子对GPU的使用率，而且可依据不一样的构架全自动调优到最好算子完成，因而能迅速挖掘全新升级GPU构架的发展潜力，比如针对A100上根据MIG（多案例GPU）技术性造成的具备不一样云计算服务器的GPU案例，震旦算子优化技术性能够根据全自动调优来进一步提高云计算服务器使用率。

总而言之，在阿里巴巴对外开放优化标准下的結果中，应用一张T4 GPU的系统软件性能五倍于此前在0.5版本号的封闭式优化标准下递交的性能。8张A100 GPU的系统软件能做到令人吃惊的每秒钟一百万张图片的性能指标值。

震旦服务平台对深度学习实体模型的全栈开发全自动优化，可高效率运用新一代的GPU构架，如根据刚公布的A10 GPU，也可以保证类似T4的，单卡（在浏览检测类型中）对外开放标准下的結果做到五倍于1.0版本号的封闭式标准下的单卡性能。

次之，刷新纪录的身后，在硬件系统上也归功于NVIDIA A100 GPU强劲的算力适用，近5倍于上一代的INT8性能促使超过上百万级性能变成很有可能。

此外NVIDIA GPU的实用性，即根据CUDA立即对硬件配置程序编写，促使客户能够对于其独有的神经元网络实体模型开展订制优化，这让震旦根据GPU的全自动算子调优技术性变成了实际。

最后得到的调优算子能够更高效率地运用A100全新的Tensor Core硬件配置命令及其更高的共享内存，进而拿出了硬件软件协作优化的令人满意试卷。

总结：硬软协作优化将加快AI普及化

现如今，MLPerf早已变成业内考量深度学习硬件软件性能的通用性标准。从各代排行榜的变化，我们可以看到硬件系统早已并不是提高算力的唯一驱动力，特有硬件软件协作解决方法虽然能产生特殊行业的最好能效等级，但不一定总是能产生全部系统软件的最佳总有着成本费。

比较之下，通用性硬件系统与通用性异构计算加快服务平台配搭，本来就在规模性、多情景的加快应用领域中更具有优点，而自动机器学习培训、修枝量化分析、算子全自动优化等技术性的扶持，促使兼顾实用性和高能耗等级的通用性硬件软件协作计划方案变成很有可能。

伴随着硬件系统的不断迭代升级，硬软协作优化将变成将来各生产商提高AI基础设施建设总体实行高效率的流行发展趋势，在那样良好的比赛催化反应下，AI运用将以迅速地速率迈向普及化。