split是最直接的linux原生命令，按指定行数切分日志，默认1000行，支持-d数字后缀、--additional-suffix加扩展名，流式处理不占内存，但不支持语义切分。
用 split 按行数切分日志最直接
Linux 原生命令 split 就是干这事的，不需要装额外工具。默认按 1000 行切，但你可以指定任意行数。
比如把 app.log 每 5000 行切一块，生成 xaa、xab 这样的文件：
split -l 5000 app.log
更实用的做法是加 -d（用数字后缀）和 --additional-suffix（加扩展名）：
split -l 5000 -d --additional-suffix=.log app.log log_part_
这样会生成 log_part_00.log、log_part_01.log 等，可读性高，也方便后续脚本处理。
-
-l后面必须是纯数字，不能带单位或空格 - 如果源文件没换行结尾，最后一块可能少于指定行数——这是正常行为，
split不补行 - 目标前缀（如
log_part_）末尾不加斜杠，否则会被当成路径解析失败
大文件下要注意 split 的内存与速度表现
split 是流式处理，不加载全文进内存，所以即使几百 GB 的日志也能跑。但实际速度取决于磁盘 I/O 和行平均长度。
如果你发现切分慢，不是命令写错了，大概率是磁盘吞吐瓶颈，尤其在机械盘或 NFS 上。
- 避免在
/tmp（常为内存盘）上切分超大文件——空间不够会直接报No space left on device - 不要用
split -l N file | gzip这种管道方式：它会让split强制缓冲输出，失去流式优势，还可能卡住 - 若需压缩，先切再批量
gzip，或者用zcat big.log.gz | split -l 5000 -d - log_part_（注意加-表示从 stdin 读）
想保留时间戳或按业务字段切？split 不行，得换方案
split -l 只认换行符，不管内容。如果你的日志是 JSON 或带时间戳，且希望“每块都以完整时间窗口开头”，split 无法做到——它可能把一行日志硬生生劈成两半。
这种需求本质是「语义切分」，得用 awk 或小脚本控制边界：
awk -v lines=5000 'NR%lines==1{close(out); out=sprintf("part_%03d.log", ++i)} {print > out}' app.log
这段能保证每块严格从第 1、5001、10001… 行开始，但依然不感知日志结构。
- 真正按时间切（比如每小时一块），得用
awk解析时间字段，或用logrotate配合dateext - 用 Python 写也行，但除非要嵌入正则过滤或编码转换，否则没必要——
split+awk组合已覆盖 95% 场景 - 别用
head/tail循环拼凑：性能差、难维护、行号容易偏移
切完怎么验证块大小是否合规
别只看文件数量，用 wc -l 抽样检查几块的实际行数：
wc -l log_part_*.log | head -n 5
注意最后一块通常行数 ≤ 指定值，其它块应完全相等。如果发现某块异常少（比如只有个位数），说明原日志里有超长行或二进制乱码干扰了换行识别。
- 用
file app.log确认编码，UTF-8-BOM 或混合编码可能导致split误判行尾 - 用
hexdump -C app.log | head查看前几行真实字节，确认0a（LF）是否存在且规律 - 如果日志含 Windows 风格
CRLF，split仍能正常工作——它只认LF，CR被当普通字符处理
实际操作中，最容易被忽略的是后缀命名和输出路径的组合逻辑。比如 split -l 5000 app.log /tmp/logs/ 看似合理，但会报错：因为 split 把 /tmp/logs/ 当作前缀，试图在根目录建文件。正确写法是先 cd /tmp/logs 再运行，或显式写成 split -l 5000 app.log ./logs/。
