使用 pandas.read_csv 的 sep 参数配合正则表达式解析固定宽度/空格分隔文本时，若正则中误用捕获组会导致额外空列；应改用非捕获组，并优先考虑将原始文本转为标准 CSV 或 Parquet 格式以提升性能与类型推断准确性。
使用 `pandas.read_csv` 的 `sep` 参数配合正则表达式解析固定宽度/空格分隔文本时，若正则中误用捕获组会导致额外空列；应改用非捕获组，并优先考虑将原始文本转为标准 csv 或 parquet 格式以提升性能与类型推断准确性。
当处理类似日志或实验记录类的 .txt 文件（如含日期、编号、浮点数和含空格的字符串字段）时，直接用 sep='\s+' 会因字段内空格（如 "4.5x10-4 Al 40um"）导致列错位。用户尝试用负向先行断言 (?!) 排除特定模式后的空格分割，却意外引入多列 NaN ——根本原因在于正则中使用了捕获组 (...)。
pandas（尤其是 engine='python'）在解析含捕获组的正则分隔符时，会将每个捕获组匹配内容也视为独立列，从而在实际数据列之间插入 NaN 占位列。例如原正则中的 ((\d|\d\d|\d\d\d)\/(\d|\d\d|\d\d\d)) 包含两层捕获括号，即产生两个额外空列。
✅ 正确做法：全部替换为非捕获组 (?:...)，并添加原始字符串前缀 r'' 避免转义错误：
import pandas as pd
df = pd.read_csv(
"file.txt",
engine='python',
sep=r'\s+(?!\d\d:\d\d:\d\d|Al|\d\dum|deg|(?:(?:\d|\d\d|\d\d\d)/(?:\d|\d\d|\d\d\d)))',
skiprows=2, # 跳过标题和分隔线
header=None,
names=['Date', 'run', 'angle', 'NAME'] # 显式指定列名
)
⚠️ 注意事项：
- 性能与类型隐患：即使正则修正后能解析，engine='python' 无法利用底层 C/Arrow 引擎，且所有列默认为 object 类型，无法自动识别 datetime 或 float；
-
更优实践：强烈建议预处理原始文本为规范 CSV（如用 csv.writer 或 awk 清洗），或直接导出为 Parquet（支持高效列存、类型保留、压缩）：
# 一次性转换（推荐长期使用） df.to_parquet("data.parquet", engine="pyarrow") # 后续快速读取 df = pd.read_parquet("data.parquet", dtype_backend='pyarrow') - 若必须现场解析，可结合 skiprows 和 names 显式控制结构，并用 pd.to_datetime()、pd.to_numeric() 后续转换类型。
总之，正则分隔符是权宜之计；面向生产环境，应将数据源头标准化——这不仅解决 NaN 列问题，更保障可维护性、性能与类型安全。
