本文介绍如何在内存充足前提下，通过分块 + 多进程 + 归并（heapq.merge）策略显著加速 Python 中大规模列表的排序，避免 sorted() 单线程瓶颈，兼顾性能与代码简洁性。
本文介绍如何在内存充足前提下，通过分块 + 多进程 + 归并（`heapq.merge`）策略显著加速 python 中大规模列表的排序，避免 `sorted()` 单线程瓶颈，兼顾性能与代码简洁性。
当数据量达百万至千万级别（如 100 万–500 万条记录）且仍可完全载入内存时，Python 默认的 sorted() 或 list.sort() 虽稳定可靠，但仅利用单核 CPU，无法释放现代多核硬件的并行潜力。此时，分治式并行排序是性价比最高的优化路径：先将数据切分为多个子块，由多个进程并行排序，再以“多路归并”方式高效合并已序子序列——整个过程时间复杂度仍为 O(n log n)，但实际耗时可接近线性下降（理论加速比趋近 CPU 核心数）。
以下是一个生产就绪的实现方案，不依赖第三方库，仅使用标准库 multiprocessing、heapq 和内置函数：
import os
from multiprocessing import Pool
from itertools import islice
def sort_chunk(chunk):
"""对单个数据块执行本地排序（稳定、高效）"""
return sorted(chunk)
def chunked_iterable(iterable, chunk_size):
"""生成器式分块，降低内存峰值（适用于可迭代对象）"""
iterator = iter(iterable)
while True:
chunk = list(islice(iterator, chunk_size))
if not chunk:
break
yield chunk
def parallel_sort(lst, num_processes=None, chunk_size=None):
"""
内存内并行排序主函数
Args:
lst: 待排序的列表（需支持 len() 和切片）
num_processes: 进程数，默认为系统逻辑核心数
chunk_size: 每块大小；若未指定，则按进程数均分
Returns:
全局有序的新列表
"""
if not lst:
return []
if num_processes is None:
num_processes = os.cpu_count() or 1
num_processes = max(1, min(num_processes, len(lst))) # 防止进程数超数据长度
if chunk_size is None:
chunk_size = max(1, len(lst) // num_processes)
# 分块（注意：此处为内存友好切片，非深拷贝）
chunks = [lst[i:i + chunk_size] for i in range(0, len(lst), chunk_size)]
# 并行排序各块
with Pool(processes=num_processes) as pool:
sorted_chunks = pool.map(sort_chunk, chunks)
# 多路归并：heapq.merge 返回迭代器，转为列表
# ⚠️ 注意：merge 要求所有输入已升序，且返回的是迭代器，大数据慎用 list() 强制展开
return list(heapq.merge(*sorted_chunks))
# 使用示例
if __name__ == '__main__':
# 模拟 200 万随机整数（约 150 MB 内存占用）
import random
large_data = [random.randint(1, 10_000_000) for _ in range(2_000_000)]
# 单线程基准（建议注释掉以对比）
# %timeit sorted(large_data) # Jupyter 中测试
# 并行排序（自动适配 CPU 核心数）
result = parallel_sort(large_data)
print(f"排序完成，前 5 项: {result[:5]}")
print(f"后 5 项: {result[-5:]}")
✅ 关键优势说明：
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 零外部依赖：纯 Python 标准库实现，部署无额外负担；
- 内存可控：分块处理避免全局排序时的临时对象膨胀，heapq.merge 采用堆式归并，空间复杂度仅为 O(k)（k 为块数），远低于全量合并；
- 自动伸缩：默认使用全部逻辑核心，亦支持手动指定 num_processes 以适配资源约束；
- 稳定可靠：sorted() 本身是 Timsort（稳定、适应性强），各块内部排序质量有保障，heapq.merge 保证全局有序。
⚠️ 重要注意事项：
- 适用前提明确：该方法要求整个数据集能一次性加载进内存。若数据远超可用 RAM（如数十 GB），则必须转向外部排序（如 pyspark、dask 或磁盘暂存的归并排序），本方案不适用；
- 进程启动开销：对于小数据（
- 数据类型限制：heapq.merge 要求所有子序列严格升序，且元素需支持比较操作；若需降序，统一预处理为负值或自定义 key 后再归并；
- 结果为新列表：不原地修改输入，若需节省内存，可在确认无引用后显式 del lst。
总结而言，在“内存够用但 CPU 未饱和”的典型场景下，这种基于 multiprocessing.Pool + heapq.merge 的并行归并模式，是以最小改造成本换取显著性能提升的最优实践之一。它平衡了开发效率、运行效率与维护成本，是 Python 工程师处理中等规模大数据排序任务的推荐范式。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
