答案是NVIDIA对GeForce显卡施加的NVENC三路并发限制，可通过nvidia-patch开源补丁解除：Linux下克隆仓库、sudo执行patch.sh并重载驱动模块；Windows需严格匹配驱动版本用Win_1337工具修补nvencodeapi.dll。
当你在OBS Studio里同时推3路1080p直播流突然卡住，或用ffmpeg批量转码时第4个进程报错“NV_ENC_ERR_OUT_OF_MEMORY（错误码10）”，这不是显卡性能不够，而是NVIDIA对GeForce系列显卡硬编码器施加的强制性并发流数封顶——本文直击破解与排障双路径，不绕弯、不空谈。
确认是否真被NVENC并发限制卡住
先排除误判：不是所有“编码失败”都源于并发限制。执行这条命令快速定位：
Linux下运行：nvidia-smi -q | grep -A 5 "max supported"，若连续三行都显示 max supported : 3，基本可锁定为官方限制；
Windows用户右键桌面→NVIDIA控制面板→帮助→系统信息→“显示”标签页，查找“并发编码会话数”，显示为3即为受限状态；
【关键前提】必须确保驱动版本在418.xx至525.xx区间内，超出此范围的驱动（如527.56+）需等待nvidia-patch项目同步更新补丁规则，否则强行打补丁将导致nvenc.dll加载失败、编码器彻底不可用。
一键式补丁解除（推荐Linux环境）
这是目前最稳定、可逆、无需图形界面的操作路径，全程终端执行：
第一步：克隆官方仓库并进入目录
git clone https://github.com/keylase/nvidia-patch.git && cd nvidia-patch
第二步：检查当前驱动版本
执行 nvidia-smi --query-driver-version --format=csv,noheader,nounits，输出结果如 515.65.01 即为有效版本号；
第三步：以root权限运行补丁脚本
sudo ./patch.sh
脚本会自动完成三项操作：备份原始libnvidia-encode.so、定位汇编指令偏移、注入无条件跳转指令绕过计数校验；
第四步：重启GPU驱动模块（非整机重启）
sudo rmmod nvidia_uvm nvidia_drm nvidia && sudo modprobe nvidia_uvm nvidia_drm nvidia
这一步跳过会导致新补丁不生效——因为内核模块仍加载着旧的so文件映射，【不可省略】。
Windows手动补丁流程（需精确匹配驱动版本）
适用于无法使用WSL或必须在原生Win环境下操作的场景，操作精度要求更高：
方法一：使用Win_1337_Apply_Patch工具（图形化）
下载对应驱动版本的.1337补丁包（例如525.85.12对应win10_x64/525.85.12目录）→关闭OBS、Discord、Plex等所有调用nvenc的进程→以管理员身份运行Win_1337_Apply_Patch.exe→分别选择system32\nvencodeapi64.dll和SysWOW64\nvencodeapi.dll→点击Apply Patch；
方法二：命令行静默修补（适合批量部署）
PowerShell中执行：.\Win_1337_Apply_Patch.exe -f "$env:windir\system32\nvencodeapi64.dll" -p ".\win10_x64\525.85.12\nvencodeapi64.1337"，同理修补SysWOW64目录下的32位dll；
【致命陷阱】若修补后OBS启动报错“Failed to initialize NVENC”，说明补丁文件与当前驱动版本哈希不匹配——必须严格按nvidia-patch项目维基页的Version Table查表选取，不能凭感觉“相近即可”。
资源冲突排查四步法
补丁生效后仍出现编码失败？大概率是GPU资源被其他进程抢占，而非限制未解除：
① 查看实时编码会话占用：nvidia-smi dmon -s e -d 1，观察ENCODE列数值是否持续≥4；
② 检查CUDA上下文残留：某些崩溃程序未释放CUcontext，执行 sudo nvidia-smi --gpu-reset 强制清空所有GPU上下文（该操作会中断所有GPU任务）；
③ 验证PCIe带宽瓶颈：多卡环境下运行 sudo lspci -vv -s $(nvidia-smi -L | head -1 | cut -d' ' -f2 | sed 's/://') | grep -A 3 "LnkSta:"，确认Link Width为x16且Speed≥8.0GT/s，否则第4路编码可能因数据吞吐不足而超时；
④ 排除内存映射冲突：在ffmpeg命令中显式指定GPU索引，避免默认轮询导致争抢，例如：-hwaccel_device 0 -c:v h264_cuvid 和 -vf hwupload_cuda=1 -c:v h264_nvenc 必须成对绑定同一张卡，否则CUDA内存无法跨卡直传。
