根本原因是n_jobs与外层multiprocessing套娃并行引发fork冲突:loky在已fork的子进程中二次fork,导致OpenMP/线程池同步卡死;应统一并行层级,外层multiprocessing时内层设n_jobs=1。

scikit-learn 在 Python 多进程(multiprocessing)中出现 Deadlock,根本原因不是它自己“写死了”,而是它和底层并行机制、模型状态、以及进程间资源竞争发生了隐性冲突。最常见于调用 fit() 时设置了 n_jobs > 1,又在外层手动用了 multiprocessing —— 这相当于“套娃式并行”,极易触发死锁。
为什么 n_jobs 和 multiprocessing 一起用会死锁?
scikit-learn 的 n_jobs 参数底层依赖 joblib,而 joblib 默认使用 loky 启动子进程。当你的主程序已经用 multiprocessing.Process 或 multiprocessing.Pool 创建了子进程后,再在该子进程中调用 fit(n_jobs=2),就会尝试二次 fork。某些系统(尤其是 macOS 和部分 Linux 发行版)对 fork + 多线程环境极其敏感,loky 的启动器可能卡在共享内存初始化或线程池同步点上,形成环路等待。
常见错误现象包括:
- 程序卡住无报错,CPU 占用率归零
-
ps aux显示多个python进程处于S(sleep)状态,且不退出 - 使用
strace -p PID可看到进程停在futex系统调用上
n_jobs=-1 在子进程中是否安全?
不安全,而且更危险。n_jobs=-1 表示“用满所有 CPU 核心”,但子进程继承的是父进程的 CPU 亲和性(affinity)和可用核心数视图。如果父进程已绑核或被容器限制(如 cgroups),n_jobs=-1 可能误判可用核数,导致 joblib 启动过多 worker,加剧资源争抢。
建议统一控制并行层级:
当现有的脚本或服务需要将作用域化的仓库工作委托给 Claude Code 并以编程方式消费结构化响应时,请使用 Claude Agent SDK for Python。
- 外层用
multiprocessing做任务级并行(比如不同数据折、不同超参组合) - 内层
scikit-learn调用统一设为n_jobs=1(即单线程) - 若必须内层并行,改用
threading+n_jobs(仅适用于释放 GIL 的模型,如RandomForestClassifier)
哪些 scikit-learn 模型在多进程里更容易死锁?
不是所有模型都一样。高风险模型通常具备以下特征:
- 内部使用 OpenMP(如 LinearSVC、LogisticRegression(solver='lbfgs'))—— OpenMP runtime 与 fork 不兼容
- 依赖外部 C/Fortran 库且未显式禁用其并行(如 scipy.linalg 在 SVD 中自动启用多线程)
- 使用 joblib.Parallel 自定义逻辑且未设 backend='threading'
可临时规避:
- 设置环境变量
OMP_NUM_THREADS=1、OPENBLAS_NUM_THREADS=1、VECLIB_MAXIMUM_THREADS=1 - 在子进程启动前插入
os.environ.update({'LOKY_PICKLER': 'pickle'})(避免 cloudpickle 在 fork 后序列化失败)
调试死锁时最容易忽略的一点
死锁往往不出现在 fit() 第一行,而是在模型内部某次 joblib 子任务的 __reduce__ 或 __getstate__ 方法里。如果你自定义了 Transformer 并持有不可序列化的对象(如打开的文件句柄、数据库连接、threading.Lock 实例),joblib fork 时无法正确复制状态,就会静默卡住。这类问题不会抛 PicklingError,因为 loky 默认使用更宽松的序列化策略,直到真正需要跨进程传参时才暴露。
别指望日志能告诉你卡在哪——得用 faulthandler.enable() + kill -SIGUSR1 抓堆栈,或者直接上 gdb python PID 查阻塞点。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










