NVIDIA
Networking NPN Elite Partner
网络结构 (Network Fabrics)
计算结构 (Compute Fabric)
- 用于节点间的计算通信，基于InfiniBand，采用轨道优化、平衡的全胖树拓扑
- 使用托管的NDR交换机提供更好的管理，支持最新的SHaRPv3特性
存储结构 (Storage Fabric)
- 为共享存储提供高带宽，采用InfiniBand网络，独立于计算结构
- 提供最大性能并最小化CPU开销，每DGX H100系统至少40 GBps的单节点带宽
带内管理网络 (In-Band)
- 基于以太网，用于节点配置、数据移动、互联网访问
- 连接所有管理集群的服务，连接速率100 Gbps，并进行绑定以提高弹性
- 连接到带外网络，为管理节点提供高速接口
带外管理网络 (OOB)
- 连接所有基本管理控制器 (BMC)端口，>与系统用户进行物理隔离的设备
- 包括DGX和管理服务器、存储、网络设备、机架PDU等
存储架构 (Storage Architecture)
高性能存储 (HPS)
- 针对多线程读写操作和并行I/O进行优化
- 提供高性能、弹性、POSIX风格的文件系统
- 支持原生InfiniBand，利用系统本地RAM和磁盘进行透明缓存
用户存储 (User Storage)
- 针对高元数据性能、IOPS和企业特性设计
- 通过以太网进行通信，作为存储的备用路径
- 在存储结构或HPS发生故障时，管理员仍可并行访问和管理节点
存储性能对训练至关重要：对于"最佳"性能级别，单节点读取性能应达到或接近最大网络性能80 GBps（建议值为40 GBps）。
NVIDIA GPUDirect Storage (GDS)提供了一种将本地NVMe数据直接读取到GPU内存的方式，可提供更高的持续I/O性能和更低延迟。
DGX SuperPOD搭配高性能、平衡的存储系统，以最大化整体系统性能。存储性能对于最大化训练性能至关重要，特别是对于大型数据集和需要频繁读取或写入大型检查点的工作负载。