应优先检查网络带宽与延迟：一、用nvidia-smi dmon和nethogs定位瓶颈，ibstat确认infiniband状态；二、启用rocev2需支持pfc/ecn的交换机及connectx-6+网卡，并加载rdma_rxe模块；三、无rdma时通过nccl绑定多网卡，设置nccl_socket_ifname等变量；四、用nccl-tests、ethtool和巨帧ping验证带宽、丢包与mtu。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您尝试在多台机器上协同运行 Llama 3 进行分布式推理，但模型响应异常缓慢或通信频繁中断，则可能是由于节点间网络带宽不足或延迟过高。以下是解决此问题的步骤：
一、评估实际吞吐需求
分布式推理中，GPU 显存间需高频交换 KV Cache 和梯度数据，通信量与模型规模、批处理大小（batch size）、序列长度强相关。Llama 3-8B 在张量并行（TP=2）下每轮前向需传输约 1.2GB 数据；若采用流水线并行（PP=4），各阶段间需同步激活值，单次通信峰值可达 800MB。万兆网卡（10Gbps）理论带宽为 1.25GB/s，仅略高于单次通信峰值，无法支撑持续高并发调度。
1、运行 nvidia-smi dmon -s u 观察 GPU 利用率是否长期低于 30%，同时 nethogs 监控网卡实时吞吐，确认是否存在网络瓶颈。
2、使用 ibstat 检查是否已启用 InfiniBand；若输出显示 “State: Active”，则无需万兆以太网卡，RDMA 已接管高速通信。
二、启用 RoCEv2 协议替代万兆直连
RoCEv2（RDMA over Converged Ethernet）可在标准以太网上实现近似 InfiniBand 的低延迟、零拷贝通信，避免万兆网卡+TCP协议栈带来的高延迟和CPU占用。该方案要求交换机支持 PFC（优先流控制）与 ECN（显式拥塞通知），且所有节点网卡必须为支持 RoCE 的智能网卡（如 NVIDIA ConnectX-6 及以上）。
1、在每台服务器执行 modprobe rdma_rxe 加载 RDMA 内核模块。
2、运行 rdma link show 确认链路状态为 “ACTIVE”。
3、启动 vLLM 时添加参数 --enable-chunked-prefill --tensor-parallel-size 2 --pipeline-parallel-size 2 --distributed-executor-backend ray，强制启用基于 RDMA 的 chunked prefill 通信优化。
三、部署 NCCL over TCP 绑定多网卡聚合
当仅配备多块千兆或万兆以太网卡且无 RDMA 支持时，可通过 NCCL 的多路径通信机制将流量分散至多个物理接口，提升总带宽并规避单卡饱和。此方式不依赖交换机高级特性，但需手动配置路由策略与 NCCL 环境变量。
1、使用 ip link 查看可用网卡名称（如 enp1s0f0、enp1s0f1），确保全部处于 UP 状态。
2、设置环境变量：export NCCL_SOCKET_IFNAME=enp1s0f0,enp1s0f1，指定多网卡绑定。
3、启动推理服务前执行：export NCCL_NTHREADS=8 && export NCCL_BUFFSIZE=2097152，提升 NCCL 内部缓冲与线程数以匹配多路径吞吐。
四、验证通信效率与丢包率
无论采用何种互联方案，必须实测节点间有效带宽与误码行为。万兆网卡本身不保证性能——若交换机未启用流控、网线为非屏蔽超六类以下、或驱动未更新至最新版本，实际吞吐可能跌破 6Gbps 并伴随隐性丢包，导致 NCCL 超时重传激增，GPU 利用率骤降。
1、在主节点运行 nccl-tests/build/all_reduce_perf -b 8 -e 128M -f 2 -g 2 -w 20，测试双卡跨节点 all-reduce 带宽。
2、执行 ethtool -S enp1s0f0 | grep "tx_errors\|rx_errors"，确认 error 计数为零。
3、使用 ping -c 100 -s 1472 -M do [目标IP] 发送巨帧报文，检查是否出现 Fragmentation Needed 错误，验证 MTU 是否设为 9000。
