如何用 Pandas 灵活解析含混合分隔符与小数逗号的 CSV 文件-Python教程-PHP中文网

如何用 Pandas 灵活解析含混合分隔符与小数逗号的 CSV 文件

本文介绍如何使用正则表达式分隔符配合 pd.read_csv，精准分离头部的英文列名（含 ; 和 ,）与数据行中的德式小数逗号（,），避免手动修改文件，实现自动化、鲁棒的数据加载。

本文介绍如何使用正则表达式分隔符配合 `pd.read_csv`，精准分离头部的英文列名（含 `;` 和 `,`）与数据行中的德式小数逗号（`, `），避免手动修改文件，实现自动化、鲁棒的数据加载。

在实际数据工程中，常遇到由第三方软件导出的“非标准”CSV文件：其表头使用分号（;）和英文逗号（,）混合分隔列名（如 col1;col2,col3），而数据体却采用德语/欧洲格式的小数点替代符——即用逗号表示小数（如 1,234 表示 1.234）。这种冲突导致 pd.read_csv 无法用单一 sep 参数正确解析：若设 sep=';'，则表头中 column3,column4,column5 会被误判为单列；若设 sep=','，又会把 1,234 拆成两列。

核心思路是：利用正则表达式实现“上下文感知分隔” —— 仅在逗号后紧跟字母（即表头中列名分隔处）才将其视作分隔符，而数据行中的 1,234 因逗号后是数字，不触发分割。

以下为完整解决方案：

import pandas as pd

# ✅ 正确用法：指定文件路径 + 正则分隔符 + Python 引擎 + 小数处理
df = pd.read_csv(
    r"mypath	est.csv",           # 注意：使用原始字符串避免 Windows 路径转义问题
    sep=r';|,(?=[A-Za-z])',       # 分隔符：分号 或 “逗号+后跟字母”
    skiprows=3,                   # 跳过前 3 行元信息
    header=0,                     # 第 0 行（跳过后的首行）作为列名
    engine='python',              # 必须使用 'python' 引擎以支持正则 sep
    decimal=','                   # 将数据中的逗号自动转为小数点
)

? 关键参数说明：

QuickBooks Mileage CSV

使用 qbo-mileage CLI 及用户凭证，从 Airtable、Outlook 或 Google Calendar 记录生成 QuickBooks Online 里程 CSV 文件。

下载

sep=r';|,(?=[A-Za-z])：正则含义为“匹配 ;，或匹配一个后面紧跟英文字母的 ,”。(?=[A-Za-z]) 是正向先行断言，确保该逗号仅用于分隔列名（如 column3,column4），而不会匹配 1,234 中的逗号（因其后是数字）。
engine='python'：Pandas 默认的 'c' 引擎不支持正则分隔符，必须显式指定 'python' 引擎。
decimal=','：将所有数值字段中作为小数分隔符的逗号自动转换为 .，并解析为浮点数。

⚠️ 常见错误规避：

❌ 错误写法：sep=';, '（将 ;, 当作多字符分隔符）→ Pandas 会寻找字面量 ;, 字符串，而非“; 或 ,”。
❌ 错误写法：未加 engine='python' → 报 ParserError: Expected file path or buffer object 或静默失败。
❌ 错误写法：pd.read_csv(StringIO("mypath\test.csv")) → StringIO 用于包装字符串内容，不是文件路径；直接传入路径字符串即可。
⚠️ 若列名中可能含数字或符号（如 col1_v2, col3_total），可增强正则为 r';|,(?=[^ds,;])'（逗号后非数字、空格、逗号、分号），提升鲁棒性。