Python怎么分割大文件_按行数或大小拆分为多个小文件-Python教程-PHP中文网

用itertools.islice可流式按行分割大文件避免OOM，每次取n行；按字节分割需seek找换行符确保行完整，避免编码错误。

python怎么分割大文件_按行数或大小拆分为多个小文件

按行数分割文件：用 `itertools.islice` 避免内存爆炸

大文件一读就 OOM？别直接 readlines()。Python 的 open() 返回的是可迭代对象，配合 itertools.islice 可以流式切片，一行都不多占内存。

每次只取 n 行：用 islice(f, n)，不是 f.readlines()[:n]（后者会把整个文件读进内存）
注意 islice 消耗迭代器位置，下一轮得重新打开文件或重置指针（推荐重开）
如果文件是 GB 级、每行很短（如日志），按行切比按字节更安全——避免切在中间行里

from itertools import islice
<p>def split_by_lines(filepath, lines_per_file=10000):
with open(filepath) as f:
file_idx = 0
while True:
chunk = list(islice(f, lines_per_file))
if not chunk:
break
with open(f"{filepath}.part{file_idx}", "w") as out:
out.writelines(chunk)
file_idx += 1</p>

按字节大小分割：用 `os.stat` 和 `seek` 控制精度

按大小拆分看似简单，但容易切坏文本编码或截断某一行——尤其 UTF-8 中一个汉字可能占 2~4 字节，seek(n) 跳到中间会报 UnicodeDecodeError。

先用 os.stat(filepath).st_size 获取总大小，再循环 seek() + read(1) 向后找换行符，确保每份以完整行为界
不要用 read(n_bytes) 直接截，它不认行边界
二进制模式（"rb"）下操作更可控，但写回时需注意编码转换

split

只要不介意文件名是 xaa、xab 这种，且目标环境有 shell，优先跑：split -l 10000 big.log log_（按行）或 split -b 10M big.bin bin_（按字节）
Windows 用户可用 gsplit（通过 Git for Windows 或 WSL），别硬写 Python 模拟
Python 仅在需要后续处理（比如每份加 header、过滤字段、发 HTTP）时才值得介入