英伟达 推出了NVIDIA A100 80GB GPU-最新的创新技术为 英伟达 HGX 人工智能超级计算平台 -拥有两倍于其前任的记忆,为研究人员和工程师提供了空前的速度和性能,以释放下一波AI和科学突破。
采用HBM2e技术的新型A100将A100 40GB GPU的高带宽内存增加了一倍,达到80GB,并每秒提供超过2 TB的内存带宽。这样一来,数据便可以快速送入世界上最快的数据中心GPU A100,从而使研究人员可以更快地加速其应用程序,并处理更大的模型和数据集。
英伟达 A100 80GB GPU在 英伟达 DGX A100 and 英伟达 DGX Station A100 系统,预计将于本季度发货。
领先的系统提供商Atos,Dell Technologies,Fujitsu,GIGABYTE,Hewlett Packard Enterprise, 浪潮 ,联想,广达和超微预计将在2021年上半年开始提供使用HGX A100集成基板构建的系统,该基板具有四或八GPU配置,并具有A100 80GB。
80GB版本以A100 40GB的各种功能为基础,是需要大量数据存储空间的各种应用的理想选择。
对于AI培训, 推荐系统 诸如DLRM之类的模型具有代表数十亿用户和数十亿产品的庞大表。 A100 80GB的速度提高了3倍,因此企业可以快速重新训练这些模型以提供高度准确的建议。
A100 80GB还可以训练更大的模型,并在单个HGX驱动的服务器(如GPT-2)中拟合更多的参数,GPT-2是具有超人生成文本功能的自然语言处理模型。这消除了对数据或模型并行体系结构的需求,这些数据体系结构或模型并行体系结构的实现非常耗时,而跨多个节点的运行则很慢。
与它 多实例GPU(MIG)技术,A100最多可以划分为七个GPU实例,每个实例具有10GB的内存。这提供了安全的硬件隔离,并针对各种较小的工作负载最大化了GPU利用率。对于像RNN-T这样的自动语音识别模型的AI推理,单个A100 80GB MIG实例可以处理更大的批处理量,在生产中提供1.25倍的高推理吞吐量。
在TB级零售的大数据分析基准上,A100 80GB将性能提高了2倍,使其成为在最大的数据集上提供快速洞察力的理想平台。随着数据的动态更新,企业可以实时做出关键决策。
对于天气预报和量子化学等科学应用,A100 80GB可以提供巨大的加速度。材料仿真Quantum Espresso通过单个节点A100 80GB获得了近两倍的吞吐量增长。
A100 80GB的主要功能
A100 80GB具有许多突破性的功能, 英伟达 Ampere架构:第三代Tensor核心:采用新格式TF32,HPC的2.5x FP64,AI推理的20x INT8以及对BF16数据格式的支持,提供高达上一代Volta的20倍AI吞吐量。更大,更快的HBM2e GPU内存:使内存容量增加一倍,并且是业内首个每秒提供超过2TB内存带宽的设备; MIG技术:将每个隔离实例的内存增加一倍,最多提供七个MIG,每个10GB;结构稀疏性:提供高达2倍的加速推理稀疏模型;第三代NVLink和NVSwitch:提供两倍于上一代互连技术的GPU到GPU的带宽,从而将数据密集型工作负载的数据传输到GPU的速度加快到每秒600 GB
A100 80GB GPU是NVIDIA HGX AI超级计算平台的关键元素,该平台将NVIDIA GPU,NVIDIA NVLink,NVIDIA InfiniBand网络以及全面优化的NVIDIA AI和HPC软件堆栈的全部功能整合在一起,以提供最高的应用程序性能。它使研究人员和科学家可以将HPC,数据分析和深度学习计算方法结合起来,以推动科学进步。