pandas.read_csv可处理多数自定义分隔符日志，关键在正确配置sep、engine、quoting等参数；复杂结构需用re.findall或str.extract；写入数据库前须严格处理dtype、null及chunksize。

用 pandas.read_csv 处理自定义分隔符日志最稳

多数日志不是标准 csv，但 pandas.read_csv 能扛住大部分变体。关键不在“能不能读”，而在“怎么告诉它别猜错”。

常见错误现象：ParserError: Expected x fields in line y, saw z —— 这通常不是分隔符错了，是某行里字段含未转义的换行或引号，而 pandas 默认按整行切分。

• 用 sep 指定分隔符，支持单字符（' '）或多字符（'\s+'），但正则需加 regex=True
• 遇到空格不等宽日志（如 nginx 的 log_format 输出），优先用 sep=r's+' + engine='python'，避免 C 引擎对正则支持弱
• 若日志含嵌套引号或注释行，加 comment='#' 和 quoting=csv.QUOTE_NONE（需 import csv）
• 列名缺失时，用 header=None + names=[...] 显式声明，别依赖 infer，否则首行数据可能被当列名吃掉

正则解析日志必须用 re.findall 或 str.extract

当分隔符不固定、字段含空格又不能简单切分（比如 timestamp="2024-01-01 12:34:56" level=INFO msg="user login"），read_csv 就力不从心了。

使用场景：Nginx access log、Java stack trace 前缀、Syslog 格式、自定义 JSON 混排日志。

• re.findall 更灵活，适合一次性提取全部字段：re.findall(r'(S+) - - [(.*?)] "(.*?)" (d+) (d+|-)', line)
• str.extract 配合 pandas.Series 更适合批量处理：df['ip'].str.extract(r'^(d+.d+.d+.d+)')
• 性能影响：正则比 split 慢 3–5 倍，但比反复 re.search 快；大文件先用 grep -m 1000 抽样调试 pattern，别直接跑全量
• 容易踩的坑：. 默认不匹配换行，多行日志要加 re.DOTALL；贪婪匹配（.*）易吞掉后续字段，改用 .*? 或明确边界（如 "([^"]*)"）

写入数据库前必须做 dtype 和 null 处理

日志字段类型混乱是导入失败主因——字符串里混着 '-' 、'N/A'、空格，直接 to_sql 会报 Invalid type for column xxx 或静默转成 object 导致查询极慢。

• 数值列先 .replace({'-': None, 'N/A': None}).astype('float64')，别用 pd.to_numeric(..., errors='coerce') —— 它对非数字字符串一律转 NaN，但不会动 '-'
• 时间列别依赖 parse_dates 自动推断，用 pd.to_datetime(df['time'], format='%d/%b/%Y:%H:%M:%S %z', errors='coerce') 显式指定，否则时区或格式偏差会导致整列变 NaT
• 字符串列统一 .str.strip()，再 .replace('', None)，避免空字符串进 DB 占用索引空间
• PostgreSQL 对 NULL 敏感，MySQL 默认把空字符串当 ''，写入前用 df.where(pd.notna(df), None) 统一 null 表示法

to_sql 批量写入要注意 chunksize 和 if_exists

直接 df.to_sql('logs', conn) 看似省事，实际在百万级日志上极易 OOM 或锁表超时。

参数差异：if_exists='append' 是安全默认，但 'replace' 会删表重建，'fail' 遇到表存在直接抛异常，别在生产环境试错。

• 设 chunksize=10000（非越大越好），配合 method='multi' 可减少 SQL 请求次数，但 SQLite 不支持 multi，得关掉
• PostgreSQL 推荐用 method=lambda _, df: pg_insert_many(conn, df) 自定义函数，走 execute_values（psycopg2.extras）批量插入，快 3–4 倍
• MySQL 注意 max_allowed_packet，chunksize 超过 1MB 可能被拒，提前查 SHOW VARIABLES LIKE 'max_allowed_packet'
• 别忽略 index=False —— 默认带 index 列写入，DB 多一列 index，还可能和主键冲突

正则 pattern 写错一次，可能漏掉整个字段；dtype 转换漏一个 replace，后面所有聚合都偏移。这些地方没法靠重跑补救，只能在抽样阶段盯紧输出。