Linux配置NVMe-oF关键在传输协议选型、内核驱动就绪度、网络参数对齐三件事：TCP开箱即用但延迟高；RDMA性能优但需网卡、固件、RoCEv2网络全对齐；必须确认5.4+内核下nvme-tcp或nvme-rdma驱动已加载，网络MTU匹配且防火墙放行端口，连接后还需手动设置discard_max_bytes以保障thin-provisioning空间回收。
Linux上配置NVMe-oF不是“装个工具就能连”，关键看传输协议选型、内核驱动就绪度、网络参数对齐这三件事。TCP方案开箱即用但延迟高；RDMA性能好，但网卡、固件、RoCEv2网络配置缺一不可——多数连不上问题都出在这三层没对齐。
确认内核版本和nvme-tcp或nvme-rdma驱动是否可用
5.4+内核原生支持NVMe-oF基础功能，但驱动加载必须显式完成。TCP模式依赖nvme-tcp，RDMA模式依赖nvme-rdma（注意不是rdma_cm或ib_core这些底层模块）。
- 运行
lsmod | grep nvme，必须看到nvme_tcp或nvme_rdma在列表中，且nvme_fabrics和nvme_core已加载 - 临时加载：TCP用
modprobe nvme-tcp，RDMA用modprobe nvme-rdma - 永久生效需写入
/etc/modules-load.d/nvme-tcp.conf或/etc/modules-load.d/nvme-rdma.conf，内容仅一行：nvme-tcp或nvme-rdma - RHEL 9+/Rocky 9+默认启用
nvme-tcp，但nvme-rdma仍需手动加载；SUSE 15 SP4+需确认kernel-default-extra包已安装
用nvme discover发现目标前必须确保网络层通且MTU匹配
nvme discover失败八成不是命令写错，而是网络不通或MTU不一致。NVMe-oF对网络质量敏感，尤其RDMA要求无损以太网（PFC/ECN开启），TCP模式虽宽松些，但也不接受丢包或乱序。
- TCP模式下，Target端IP和端口（默认
4420）必须能被telnet或nc -zv连通；执行nvme discover -t tcp -a 192.168.5.6 -s 4420时，-a后必须是Target监听的业务IP，不是管理IP - RDMA模式下，必须先用
ibstat和iblinkinfo确认RDMA链路UP，再检查cat /sys/class/infiniband/*/ports/*/policy是否为1（表示允许连接） - 无论哪种模式，Initiator与Target的MTU必须一致：TCP建议设为
9000（jumbo frame），RDMA强制要求4096或65520（取决于RoCEv2配置），不一致会导致discover返回空或超时 - 防火墙必须放行对应端口：
firewall-cmd --add-port=4420/tcp --permanent（TCP模式）；RDMA模式需开放UDP 4791（RoCEv2）、TCP 20048等端口
nvme connect连接后必须验证subsystem状态和discard_max_bytes设置
成功执行nvme connect不代表存储可用了。NVMe-oF设备挂载后默认discard_max_bytes为0，导致fstrim或thin-provisioning空间回收失效——这是生产环境最常被忽略的坑。
- 用
nvme list-subsys确认输出中有live状态，且traddr/trsvcid与预期一致；若显示connecting或无输出，说明连接未建立或已被断开 - 查到设备名（如
nvme0n1）后，立即检查其物理路径：ls -l /sys/class/block/nvme0n1/device应指向../nvme0c256n1这类控制器命名，而非软链接到dm-*（那是多路径层） - Thin Provisioning场景下，必须手动设置空间回收粒度：
echo 67108864 > /sys/class/block/nvme0c256n1/queue/discard_max_bytes（64MB）。该值需对每个物理控制器节点（nvme0cXXXn1）单独设置，重启失效 - 若使用DM-Multipath，需对
dm-*设备设置：echo 67108864 > /sys/class/block/dm-1/queue/discard_max_bytes，否则lvm thinpool无法自动回收空间
真正麻烦的是RDMA网络调优：PFC流控没配对、ECN阈值不合理、交换机缓冲区不足，都会导致连接时断时续，而错误日志里只显示“connection reset”这种模糊信息。建议先用TCP跑通全流程，再切到RDMA，避免把网络问题和协议问题混在一起排查。
