
本文介绍两种稳健方法,解决因 CSV 行字段数不一致导致的 pandas 解析错误,并将多个文本文件分别写入 Excel 的不同工作表中。
本文介绍两种稳健方法,解决因 csv 行字段数不一致导致的 pandas 解析错误,并将多个文本 files 分别写入 excel 的不同工作表中。
在处理真实场景下的文本日志或导出数据时,常遇到以逗号分隔但每行字段数量不一致的情况(如 a,、f,g,h,j,),直接使用 pd.read_csv(..., sep=',') 会因默认严格模式抛出 ParserError: Expected X fields in line Y, saw Z。根本原因在于 pandas 默认按首行或最大列数推断结构,而您的数据无统一 schema。
以下是两种推荐方案,兼顾鲁棒性与实用性:
✅ 方案一:预设最大列数(推荐用于列数有界场景)
若已知最大列数(例如 ≤10),可显式定义列名,再清理空列:
import pandas as pd
N_COLS = 10 # 根据实际数据设定合理上界
df = pd.read_csv(
"exp.txt",
sep=',',
header=None,
names=range(N_COLS), # 强制创建 0~9 列
engine='python' # 避免 C 引擎对不规则行的严格校验
).dropna(how='all', axis=1) # 删除全为 NaN 的空列
✅ 方案二:单列读取 + 字符串分割(推荐用于列数未知/波动大场景)
绕过解析器校验,先整体读为单列,再按逗号拆分(注意:不支持含引号/转义的复杂 CSV):
df = (
pd.read_csv("exp.txt", sep='--NOSEP--', header=None, engine='python')[0]
.str.strip(', ') # 清除行首尾多余逗号和空格
.str.split(',', expand=True) # 拆分为多列,自动对齐
)
? 导出到 Excel(多文件 → 多工作表)
使用 pd.ExcelWriter 批量写入,每个文本文件独占一个 sheet:
import glob
import os
with pd.ExcelWriter("output.xlsx", engine='openpyxl') as writer:
for file_path in glob.glob("*.txt"):
sheet_name = os.path.splitext(os.path.basename(file_path))[0][:31] # Excel 工作表名 ≤31 字符
# 使用方案二读取(更通用)
df = (
pd.read_csv(file_path, sep='--NOSEP--', header=None, engine='python')[0]
.str.strip(', ').str.split(',', expand=True)
)
df.to_excel(writer, sheet_name=sheet_name, index=False, header=False)
⚠️ 注意事项:
- 方案二无法处理含双引号包裹的逗号(如 "a,b",c),如需完整 CSV 兼容性,请改用 csv 模块逐行解析;
- engine='python' 是关键,它比默认 C 引擎更灵活,允许自定义分隔符(如 --NOSEP--);
- 写入 Excel 前建议检查 df.shape 和 df.info(),确认数据结构符合预期;
- 若文本含 BOM 或编码异常,添加 encoding='utf-8-sig' 参数。
通过以上方法,您可稳定处理不规则分隔文本,并高效生成结构清晰的 Excel 报表。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











