multiprocessing.pool比手动process更可靠，因其自动完成参数序列化、任务分发、结果收集与进程生命周期管理，避免了共享状态不一致、ipc开销大、异常难捕获及资源泄漏等问题。
multiprocessing.Pool 是解决数据预处理 CPU 瓶颈最直接有效的手段，前提是任务可并行、无强状态依赖、且输入输出能序列化。
为什么 multiprocessing.Pool 比手动 Process 更可靠？
手动用 Process 启动子进程 + 共享列表（如传 results 列表进去）看似简单，但实际会出问题：子进程修改的只是自己内存副本，主进程看不到结果；若改用 Manager.list()，又引入 IPC 开销和同步锁，性能反而更差。
Pool.map() 内部自动完成：序列化参数 → 分发到 worker → 执行函数 → 序列化返回值 → 收集结果。它绕过了共享状态难题，也避免了手动管理进程生命周期的错误。
- 必须加
if __name__ == "__main__":—— Windows/macOS 下不加会反复 fork，导致进程爆炸 - worker 函数不能是嵌套函数或 lambda —— 因为
pickle无法序列化它们 - 输入数据最好提前切片好（如按文件路径列表），避免在 worker 里再做全局 IO 或读配置
map vs map_async：什么时候该用异步？
当你要边处理边监控进度、或想在等待结果时干点别的事（比如写日志、更新 UI、预热下一个 batch），就用 map_async。它不阻塞主进程，返回一个 AsyncResult 对象。
但注意：map_async 的回调函数（callback 参数）是在主进程执行的，不能做耗时操作；而 error_callback 只捕获 worker 抛出的异常，不包括 KeyboardInterrupt 或系统信号。
python-docx Skill功能概述python-docx Skill是一项面向实际任务的技能，主要用于本Skill提供使用python-docx生成专业Word文档的标准方法和最佳实践；生成安全服务方案文档；核心要点生成技术架构设计文档；生成任何需要专业排版的Word文档；核心库 : python-docx；使用与执行辅助库 : docx.shared , docx.enum , docx.oxml.ns；标准代码模板；1. 文档初始化；2. 字体设置（必须！它将相关步骤、工具调用和结果整理方式集
-
map简单直接，适合批处理、脚本式任务 -
map_async需要主动轮询.ready()或调用.get(timeout=...)，否则可能卡死 - 不要在
map_async后立刻pool.close()—— 必须等所有结果 ready，否则 worker 被杀导致get()报ValueError: pool is closed
进程数设多少才不翻车？
不是越多越好。默认 cpu_count() 通常是安全起点，但真实最优值取决于任务类型：
- CPU 密集型（图像 resize、文本 tokenization）：设为
cpu_count()或cpu_count() + 1，再多只会增加上下文切换开销 - I/O + CPU 混合型（读 CSV → 解析 → 特征计算）：可略高于核心数（如
cpu_count() * 1.5），因为部分时间在等磁盘 - 内存敏感场景（每条数据加载后占几百 MB）：必须限制进程数，否则 OOM —— 建议先用
psutil.virtual_memory()估算单 worker 内存占用，再反推上限
别硬编码数字，用 multiprocessing.cpu_count() 动态获取，不同机器部署时才不会崩。
常见报错和对应解法
遇到 PicklingError，基本是函数或参数含不可序列化对象：比如用了类实例方法、带文件句柄的 logger、或 pandas DataFrame（某些版本下 DataFrame 不一定能被 pickle）。
遇到 BrokenPipeError 或 IOError，多因 worker 进程崩溃后主进程还在发任务 —— 加 maxtasksperchild=100 让 worker 定期重启，避免内存泄漏累积。
- 调试时加
initializer打印 worker PID 和初始化动作，确认是否每个 worker 都正确加载了依赖（如 OpenCV、nltk data） - 避免在 worker 里 import 大型包（如
torch）—— 放到函数体外顶层 import，否则每个进程重复加载浪费时间和内存 - 如果要用全局变量（如预加载的模型），必须在
initializer里加载，并用functools.partial绑定，不能靠模块级变量“自然共享”
真正麻烦的从来不是怎么启动多进程，而是让每个 worker 稳、轻、快 —— 它们不是临时工，是长期驻守的协作者。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
