本文介绍如何在内存充足前提下，通过分块 + 多进程 + 归并的方式加速 Python 大规模数据排序，显著优于单线程 sorted()，兼顾性能与代码简洁性。
本文介绍如何在内存充足前提下，通过分块 + 多进程 + 归并的方式加速 python 大规模数据排序，显著优于单线程 `sorted()`，兼顾性能与代码简洁性。
当处理百万至千万级记录（如 list 中的整数、浮点数或可比较元组）且数据能完全载入内存时，Python 默认的 sorted() 或 .sort() 虽稳定可靠，但仅利用单核 CPU，无法释放多核潜力。此时，分治式并行排序是更优解：将数据切分为多个子块，由多进程并行排序，再通过 heapq.merge() 高效归并——该操作时间复杂度为 O(N log k)，远低于全量重排，且天然流式、内存友好。
以下是一个生产就绪的实现方案：
import os
from multiprocessing import Pool
from itertools import islice
import heapq
def sort_chunk(chunk):
"""对单个数据块执行内置排序（Timsort），高效且稳定"""
return sorted(chunk)
def chunked_iterable(iterable, chunk_size):
"""内存友好的迭代器分块，避免一次性构造大列表"""
iterator = iter(iterable)
while True:
chunk = list(islice(iterator, chunk_size))
if not chunk:
break
yield chunk
def parallel_sort(iterable, num_processes=None, chunk_size=None):
"""
并行归并排序：适用于内存可容纳全量数据的大规模序列
Args:
iterable: 可迭代对象（如 list、generator）
num_processes: 进程数，默认为 CPU 核心数
chunk_size: 每块元素数量；若未指定，按 num_processes 均分
Returns:
list: 全局有序结果（注意：返回新列表，不修改原数据）
"""
if num_processes is None:
num_processes = os.cpu_count() or 1
# 转为 list 以支持 len() —— 若原始数据为 generator 且极大，请先评估内存
data = list(iterable)
n = len(data)
if n == 0:
return []
if chunk_size is None:
chunk_size = max(1, n // num_processes)
chunks = list(chunked_iterable(data, chunk_size))
# 多进程排序各块（I/O 密集型任务不适用，但纯计算型收益明显）
with Pool(processes=num_processes) as pool:
sorted_chunks = pool.map(sort_chunk, chunks)
# heapq.merge 返回迭代器，转 list 得到最终结果
return list(heapq.merge(*sorted_chunks))
# 使用示例
if __name__ == '__main__':
from random import sample
# 模拟 100 万随机整数（约 8MB 内存占用）
large_data = sample(range(10_000_000), 1_000_000)
# 单线程基准（供对比）
# import time
# start = time.time()
# sorted_single = sorted(large_data)
# print(f"Single-thread: {time.time() - start:.3f}s")
# 并行排序（典型提升：2–4 倍，取决于 CPU 核心数与数据局部性）
sorted_parallel = parallel_sort(large_data, num_processes=4)
print("First 10 elements:", sorted_parallel[:10])
print("Last 10 elements: ", sorted_parallel[-10:])
✅ 关键优势说明：
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 无额外依赖：仅用标准库 multiprocessing 和 heapq；
- 内存可控：chunked_iterable 避免中间大列表；heapq.merge 归并时仅维护 k 个堆顶元素，空间复杂度 O(k)；
- 稳定性保障：底层仍使用 Timsort（sorted()），合并过程保持相等元素的原始相对顺序；
- 灵活适配：支持自定义 chunk_size，便于调优（建议每块 ≥ 10k 元素以摊薄进程启动开销）。
⚠️ 重要注意事项：
- 此方案要求全量数据可驻留内存。若数据远超物理内存（如数十 GB），应改用外部排序（如 pandas.read_csv(..., chunksize=...) 分批排序后归并，或借助 dask.dataframe / vaex）；
- 进程间数据传递有序列化开销，对极小数据块（
- 若数据含自定义对象，需确保其支持 __lt__ 等比较协议，且可被 pickle 序列化（multiprocessing 所需）；
- Windows 用户需将 parallel_sort 调用置于 if __name__ == '__main__': 保护块内，防止递归启动进程。
总结而言，面对“够大但仍在内存中”的数据，该并行归并模式是以最小改造成本换取可观性能提升的务实之选——它不颠覆 Python 的简洁哲学，而是精准借力多核与算法特性，在工程效率与理论最优间取得坚实平衡。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
