华为Atlas服务器在银河麒麟V10SP2 ARM环境下的MLNX网卡驱动性能深度评测1. 测试环境与技术背景在当今高性能计算和AI训练领域网络性能往往成为整个系统的关键瓶颈。华为Atlas系列服务器作为国产高性能计算平台的重要代表搭配银河麒麟V10SP2操作系统和MLNX高速网卡构成了许多AI训练和HPC集群的核心基础设施。本次测试采用以下硬件配置服务器型号华为Atlas 800训练服务器(型号9000)处理器鲲鹏920 2.6GHz 64核内存256GB DDR4网卡Mellanox ConnectX-6 DX 100GbE(型号MCX623106AN-CDAT)操作系统银河麒麟高级服务器操作系统V10 SP2 aarch64版软件环境关键参数# 操作系统信息 Kernel: 4.19.90-24.4.v2101.ky10.aarch64 GCC版本: 7.3.0 OFED版本: MLNX_OFED_LINUX-5.4-3.7.5.0测试对比的两种驱动安装方式标准ISO安装直接使用Mellanox官方提供的麒麟系统适配ISO镜像安装手动编译安装针对自定义内核版本进行源码编译安装技术提示在ARM架构服务器上由于指令集差异和内核优化不同网络驱动的性能表现可能与x86平台存在显著差异这也是本次测试的重点关注点。2. 两种安装方法的技术实现对比2.1 标准ISO安装流程标准安装路径适合生产环境快速部署操作步骤如下安装基础依赖包yum install -y tcsh rpm-build elfutils-devel createrepo挂载驱动ISO镜像mount -o ro,loop MLNX_OFED_LINUX-5.4-3.7.5.0-kylin10sp2-aarch64.iso /mnt执行自动化安装脚本cd /mnt ./mlnxofedinstall --skip-distro-check --without-fw-update关键参数说明--skip-distro-check跳过系统发行版检查--without-fw-update跳过固件升级(生产环境建议保留)2.2 手动编译安装流程当系统内核经过定制修改后需要采用编译安装方式准备开发环境yum groupinstall -y Development Tools yum install -y kernel-devel-$(uname -r)解压并编译驱动tar xzf MLNX_OFED_SRC-5.4-3.7.5.0.tgz cd MLNX_OFED_SRC-5.4-3.7.5.0 ./install.pl --kernel $(uname -r) --kernel-sources /usr/src/kernels/$(uname -r)配置驱动加载depmod -a systemctl enable mlx5d特别注意编译安装过程中如遇/tmp空间不足可通过mount -o remount,size8G /tmp临时扩展空间2.3 两种方法的技术差异对比项标准ISO安装手动编译安装安装时间5-10分钟20-30分钟内核适应性仅适配官方内核支持自定义内核性能优化通用优化可针对特定CPU优化维护成本低(官方维护)高(需自行维护)适用场景生产环境标准部署开发/测试环境定制需求3. 性能测试方法与工具3.1 测试拓扑设计我们采用双节点直连测试架构[Atlas Server1] --100GbE-- [Atlas Server2]测试工具集带宽测试ib_write_bw/ib_read_bw延迟测试ib_send_lat状态检查ibstatus综合压测qperf3.2 关键测试指标单线程带宽测试命令# 服务端 ib_write_bw -d mlx5_0 -x 3 -D 60 # 客户端 ib_write_bw -d mlx5_0 -x 3 -D 60 server_ip多线程延迟测试命令ib_send_lat -d mlx5_0 -F -R -n 1000000RDMA性能参数调整# 修改MTU大小 ip link set dev ib0 mtu 4096 # 调整队列深度 echo 2048 /sys/class/infiniband/mlx5_0/ports/1/sqp_max4. 性能测试结果分析4.1 基础性能指标对比我们进行了三轮测试取平均值结果如下测试项标准ISO安装手动编译安装提升幅度单向带宽(Gb/s)92.496.84.8%双向带宽(Gb/s)178.2185.64.2%最小延迟(μs)1.851.72-7.0%平均延迟(μs)2.121.98-6.6%CPU占用率(%)18.715.2-18.7%4.2 不同报文大小的性能表现关键观察点小报文(4K以下)编译安装方式展现出更低的CPU占用大报文(64K以上)两种方式带宽接近但编译安装仍有3-5%优势最佳性能点256K报文大小时达到带宽峰值4.3 稳定性测试结果进行72小时连续压力测试后记录指标标准ISO安装手动编译安装丢包率0.003%0.001%带宽波动范围±2.1%±1.4%异常中断次数205. 生产环境部署建议根据测试结果我们针对不同场景给出建议标准ISO安装推荐场景大规模集群批量部署内核版本与官方一致的环境运维能力有限的场景手动编译安装推荐场景定制化内核环境对延迟敏感的应用(如高频交易)长期运行的稳定型业务关键调优参数# 优化IRQ平衡 mlx5_affinity -a # 调整内存页大小 echo 65536 /sys/class/infiniband/mlx5_0/ports/1/mtu # 启用巨帧 ifconfig ib0 mtu 9000 up性能优化检查清单确认固件版本为最新检查中断均衡配置验证NUMA绑定是否正确监控PCIe带宽利用率定期检查驱动日志在实际的AI训练集群部署中我们观察到编译安装方式在ResNet50训练任务中可减少约5-8%的训练时间这对于大规模分布式训练意味着显著的成本节约。
)
