对百万级以内数据，sorted()首选；超百万且需稳定o(n log n)、可控内存或自定义排序时，分治+多进程归并更优，关键在切分、排序、归并三步协同优化。
直接上结论：对百万级以内、能全量载入内存的数据，sorted() 仍是首选；但当数据量突破 100 万、且你明确需要稳定 O(n log n)、可预测内存占用、或需自定义稳定排序逻辑时，分治 + 多进程归并是更可控的方案——关键不在“多进程”本身，而在如何切分、排序、归并三步不拖累整体性能。
为什么 merge_sort + multiprocessing.Pool.map 不一定更快
很多人一上来就写 pool.map(merge_sort, chunks)，结果比单线程还慢。根本原因有三个：
-
merge_sort函数若每次都在子进程中新建 list（如用切片arr[:mid]），会触发大量内存拷贝和 Python 对象分配，抵消并行收益 - 进程启动开销 + pickle 序列化成本，在 chunk 过小或数据类型复杂（如含嵌套 dict）时尤为明显
- 归并阶段若用
sorted()或手写双指针合并但未预分配结果数组，会导致频繁内存重分配
实操建议：chunk 数量控制在 os.cpu_count() * 2 以内；每个 chunk 至少 5 万元素；避免在子进程中做深拷贝或 JSON 解析。
用 heapq.merge 实现低开销归并
heapq.merge() 是标准库中唯一原生支持多路归并的函数，它不把所有数据加载进内存再排，而是维护一个最小堆，每次只取各路有序序列的头部——空间复杂度 O(k)，k 是子序列数量，远低于全量归并的 O(n)。
常见错误是先调用 list(heapq.merge(...)) 强制展开，导致内存峰值翻倍。正确做法是流式消费：
import heapq <h1>假设 sorted_chunks 是已排序的子列表迭代器</h1><p>result_iter = heapq.merge(*sorted_chunks)</p><h1>后续逐条处理，或只取前 N 条</h1><p>top_10 = list(itertools.islice(result_iter, 10)) </p>
注意：heapq.merge() 要求所有输入都是**已排序的可迭代对象**，且必须全部为升序（或全部降序）。若需混合升降序（如金额降序 + 时间升序），得统一转成 tuple 键再排序，不能靠 merge 推导。
SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途 ：；核心要点📝 题解模式 ：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式 ：输入 Python 代码，自动添加详细中。它将相关步骤、
如何安全传递自定义 key 和 reverse 逻辑
Python 的 sorted() 支持 key 和 reverse 参数，但 merge_sort 子进程无法直接继承主进程的闭包或 lambda。错误写法：lambda x: (x['amount'], x['created_at']) 无法被 pickle。
实操建议用以下方式之一：
- 将 key 逻辑抽成模块级函数，确保可 import（如
def sort_key(record): return (-record['amount'], record['created_at'])） - 在切分前，提前提取并缓存排序键到新字段（如
for r in data: r['_sort_key'] = (-r['amount'], r['created_at'])），子进程只按该字段排序 - 若 key 逻辑极简（如仅取某字段），直接在子进程中用
sorted(chunk, key=lambda x: x['amount'], reverse=True)—— 因为内置函数和简单 lambda 可被 pickle
特别注意：reverse=True 与降序 key 不等价。例如 sorted(xs, key=lambda x: x['a'], reverse=True) 等效于按 -x['a'] 升序，而非真正按字段值降序。涉及多字段复合排序时，务必统一用 tuple key。
别忽略归并阶段的 I/O 和 GC 压力
实际跑通后发现 CPU 利用率忽高忽低？大概率卡在归并环节的内存分配或垃圾回收。尤其当每个 chunk 是 10 万条字典时，heapq.merge() 内部仍要维护引用、比较对象，而 Python 字典比较比数字慢 2–3 个数量级。
容易被忽略的优化点：
- 归并前，把每个 chunk 转成
tuple或namedtuple，减少属性查找开销 - 若最终只需 Top-K，别全量归并，改用
heapq.nlargest(k, itertools.chain.from_iterable(sorted_chunks), key=...)，它内部用堆，不构造完整结果 - 在主进程调用
gc.disable()避免归并过程中频繁触发 full GC（归并结束再gc.enable()）
真正的瓶颈往往不在“怎么分”，而在“怎么合”——尤其是当你以为归并只是机械拼接时，它其实在反复做对象比较、引用计数、内存寻址。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
