直接用 open() 逐个读写慢是因为频繁系统调用导致内核/用户态切换开销大；最快方案是 linux/macos 下用 os.sendfile() 零拷贝合并，windows 或跨文件系统时改用固定缓冲区（如 1mb）复用目标文件句柄分块读写。
为什么直接用 open() 逐个读写会慢得离谱
因为每个 open() / read() / close() 都触发一次系统调用，文件越多，内核态/用户态切换越频繁。10 万个 1KB 文件，光打开关闭就可能耗掉几秒——这还不算磁盘寻道和缓冲区刷新开销。
真正瓶颈不在 Python 解释器，而在 I/O 调度和文件元数据操作。实测中，纯 for 循环 + open(..., 'rb') 合并 5 万个小文件，比优化后慢 3–5 倍。
- 避免在循环里反复
open()目标大文件（每次写都可能触发 flush） - 不要用
shutil.copyfileobj()包裹单个小文件流——它没做批量缓冲，照样高频 syscall - 慎用
pathlib.Path.read_bytes()：内存全载入，小文件多时易 OOM
用 os.open() + os.sendfile() 绕过 Python 缓冲层
Linux 3.1+ 和 macOS 10.12+ 支持零拷贝合并：让内核直接把源文件内容“推送”进目标文件描述符，不经过用户空间内存。这是目前最快的路径。
关键限制：源文件必须是普通文件（不能是 pipe/socket），且目标文件需已存在并可写；sendfile() 不支持跨文件系统（比如源在 ext4、目标在 NTFS 挂载点会失败）。
- 先用
os.open(target_path, os.O_WRONLY | os.O_CREAT)创建目标 fd - 对每个源文件，用
os.open(src, os.O_RDONLY)获取只读 fd - 调用
os.sendfile(dst_fd, src_fd, 0, os.stat(src).st_size) - 最后
os.close()两个 fd —— 别漏掉，否则资源泄漏
注意：sendfile() 在 Windows 上不可用，Python 会抛 OSError: [Errno 38] Function not implemented，需 fallback 到缓冲读写。
跨平台安全方案：固定缓冲区 + io.BufferedWriter
当无法用 sendfile()（Windows / 跨文件系统 / 权限受限），最稳的提速方式是控制缓冲区大小并复用目标文件句柄。
默认 open(..., 'wb') 的缓冲区约 8KB，对海量小文件太小；设为 1MB 可显著减少 write() 调用次数，又不至于吃光内存。
- 用
buffering=1024*1024显式指定缓冲区大小 - 目标文件只
open()一次，所有小文件内容用.write()写入（不是.writelines()） - 源文件用
open(..., 'rb').read(65536)分块读取，避免单次read()加载整个文件 - 别用
print(..., file=f)—— 它带换行和格式化开销，纯二进制合并必须用.write(bytes)
示例核心逻辑：
with open('merged.bin', 'wb', buffering=1024*1024) as dst:
for src in file_list:
with open(src, 'rb') as f:
while chunk := f.read(65536):
dst.write(chunk)
合并前务必检查文件顺序与编码风险
小文件合并不是简单拼接。如果这些文件是日志或文本片段，顺序错乱会导致数据语义错误；如果含 BOM 或混合编码（如部分 UTF-8 带 BOM、部分 ANSI），直接二进制拼接会产生乱码。
- 用
sorted(file_list)确保按字典序合并——除非你明确需要其他排序逻辑（如按修改时间：sorted(file_list, key=os.path.getmtime)） - 文本类合并必须统一编码：先探测每个文件编码（
chardet.detect()），再 decode → encode 为 UTF-8 再写入，不能 raw copy - 二进制文件（如图片分片、协议 buffer）可跳过编码检查，但要确认所有分片格式一致（比如都是 PNG 头，而非混入 JPEG）
最容易被忽略的是文件末尾换行符：多个文本文件合并时，若原文件末尾无换行，拼接后内容会粘连。加不加 \n 要根据下游解析逻辑决定，不是“看起来整齐”就行。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
