深圳市创宏佳科技有限公司

NVIDIA A100 TENSOR CORE GPU 在各种规模上实现出色的加速

适用于各种工作负载的强大计算平台

NVIDIA A100 Tensor Core GPU 可在各个规模下为 AI、数据分析和高性能计算（ HPC） 应用提供出色的加速性能，为quan球的 高性能弹性数据中心提供强劲助力。作为 NVIDIA 数据中心平台的引擎，与前一代 NVIDIA Volta? 相比，A100 可使性能提升高达 20 倍。A100 可高效扩展，也可借助多实例 GPU（ MIG） 技术划分 为 7 个独立的 GPU 实例，从而提供统一的平台，助力弹性数据中心根据不断变化的工作负载需求动态进行调整。

NVIDIA A100 Tensor Core 技术支持广泛的数学精度，可针对每个工作负载提供单个加速器。zui新一代 A100 80GB 将 GPU 显存 加倍，提供 2TB/s 的quan球超快显存带宽，可加速处理超大型模型和海量数据集。

A100 是完整 NVIDIA 数据中心解决方案的一部分，该解决方案由硬件、网络、软件、库以及 NGC? 目录中经优化的 AI 模型和 应用等叠加而成。作为适用于数据中心且功能强大的端到端 AI 和 HPC 平台，A100 可助力研究人员获得真实的结果，并能将解决方案大规模部署到生产环境中。

NVIDIA英伟达A100人工智能服务器GPU算力租赁产品规格

	项目	标准配置	扩展配置
1	准系统	双路4U机架式
2	处理器	英特尔 Xeon ? Gold 6330 处理器 28核/基频2GHz/3.1GHz/42MB缓存	英特尔 Xeon? Platinum 8380 处理器 40核/基频2.3GHz/3.4GHz/60MB缓存
3	内存	DDR4/RDIMM/3200MHz/64GB，总容量256GB	内存容量4TB
4	芯片组	Intel? C621A
5	GPU	8张A100 80GB PCIe显卡	8张双宽或16张单宽PCIe NVIDIA GPU卡
6	网络通信	以太网卡，2路10G电口
7		InfiniBand（IB）网卡，2路200G QSFP56口
8	硬盘	系统盘，M.2 SATA SSD，容量1TB	前面板支持24块2.5或12块3.5寸 SAS/SATA硬盘 主板支持2块M.2 SATA SSD
9		数据盘，4TB*4/SATA，总容量16TB
10	电源	单模组2000W，2%2B2冗余配置	单模组3KW，总计12KW
9	外形尺寸	宽度480mm，高度180mm，深度830mm
10	工作温度	5~35℃
11	重量	80kg

NVIDIA A100 TENSOR CORE GPU 规格 （SXM4 和 PCIE 外形规格）

		A100 80GB PCIe	A100 80GB SXM
FP64	9.7 TFLOPS
FP64 Tensor Core	19.5 TFLOPS
FP32	19.5 TFLOPS
Tensor Float 32 （TF32）	156 TFLOPS | 312 TFLOPS*
BFLOAT16 Tensor Core	312 TFLOPS | 624 TFLOPS*
FP16 Tensor Core	312 TFLOPS | 624 TFLOPS*
INT8 Tensor Core	624 TOPS| 1248 TOPS*
GPU 显存	80GB HBM2e		80GB HBM2e
GPU 显存带宽	1935GB/s		2039GB/s
zui大热设计功耗 （TDP）	300 瓦		400 瓦***
多实例 GPU	zui多 7 个 MIG 每个 10GB		zui多 7 个 MIG 每个 10GB
外形规格	PCIe 双插槽风冷式或单插槽液冷式		SXM
互连技术	搭载 2 个 GPU 的 NVIDIA? NVLink? 桥接器：600GB/s** PCIe 4.0 ：64GB/s		NVLink ：600GB/s PCIe 4.0 ：64GB/s
服务器选项	搭载 1 至 8 个 GPU 的合作伙伴ren证系统和 NVIDIA ren证系统（ NVIDIA-Certified Systems?）		搭载 4 个、8 个或 16 个 GPU 的 NVIDIA HGX? A100 合作伙伴ren证系统和 NVIDIA ren证系统 搭载 8 个 GPU 的 NVIDIA DGX? A100
* 采用稀疏技术 ** SXM4 GPU 通过 HGX A100 服务器主板连接；PCIe GPU 通过 NVLink 桥接器可桥接多达两个 GPU *** 400 瓦 TDP（适用于标准配置）。HGX A100-80 GB 自定义散热解决方案（ CTS） SKU 可 支持高达 500 瓦的 TDP

跨工作负载的卓越性能

针对大型模型提供高达 3 倍的 AI 训练速度；

相较于 CPU 提供高达 249 倍的 AI 推理性能；

相较于 A100 40GB 提供高达 1.25 倍的 AI 推理性能；

为 HPC 应用提供高达 1.8 倍的性能；

四年来 HPC 性能提升 11 倍；

相较于 A100 40GB，在大数据分析基准测试中速度提升 2 倍；

突破性的创新

NVIDIA AMPERE 架构：无论是使用 MIG 将 A100 GPU 分割为较小的实例，还是使用 NVLink 连接多个 GPU 来加速 大规模工作负载，A100 均可轻松满足不同规模的加速需求，从小型作业到大型多节点工作负载无一例外。A100 功能全面，这意味着 IT 经理可以全天候地充分利用数据中心内的每个 GPU。

第三代 TENSOR CORE 技术：NVIDIA A100 的深度学习 运算性能可达 312 teraFLOPS （TFLOPS）。其深度学习训练的 Tensor 每秒浮点运算次数（ FLOPS） 和推理 的 Tensor 每秒万亿次运算次数（ TOPS） 皆为 NVIDIA Volta? GPU 的 20 倍。

新一代 NVLINK：A100 中采用的 NVIDIA NVLink 可提供两倍于上一代的吞吐量。与 NVIDIA NVSwitch? 结合使用时，此技术可将多达 16 个 A100 GPU 互连，并将速度提升至 600GB/s，从而在单个服务器上实现出色的应用性能。NVLink 技术可应用在 A100 中：SXM GPU 通过 HGX A100 服务器主板连接，PCIe GPU 通过 NVLink 桥接器可桥接多达两块 GPU。

多实例 GPU（ MIG） 技术：一个 A100 GPU zui多可划分为 7 个 GPU 实例，这些实例在硬件级别完全独立，并独自拥有高 带宽显存、缓存和计算he心。借助 MIG， 开发者可为其所有应用实现惊人加速，IT 管理员也可为每个作业提供符合其规模的 GPU 加速，进而优化 GPU 利用率，并让每个用户和 应用都能使用 GPU 实例。

高带宽显存（ HBM2E）：凭借 80GB 的高带宽显存（HBM2e），A100 提供超过 2TB/s 的超快 GPU 显存带宽， 并将动态随机存取存储器（ DRAM） 的利用效率 提高至 95%。A100 提供的显存带宽是上一代 产品的 1.7 倍。

结构化稀疏：AI 网络拥有数百万至数十亿个 参数。实现准确预测并非要使用所有参数，而且我们还可将某些参数转换为零，以在无损准确性的前提下使 模型变得“稀疏”。A100 中的 Tensor Core 可为稀疏模型提供高达 2 倍的性能提升。稀疏功能不仅更容易使 AI 推理受益，同时还能提升 模型的训练性能。

NVIDIA  A100 Tensor Core GPU 是 NVIDIA 数据中心平台的旗舰产品，可用于深度学习、高性能计算 （HPC） 和数据分析。该平台可为 2000 余款应用和各大深度学习框架提供加速。A100 适用于桌面、服务器以及云服务，不仅能显著提升性能，更可以节约成本。