Python怎样修复损坏的CSV_csvError异常处理与容错读取-Python教程-PHP中文网

跳过含null字节的坏行需用二进制模式读取，过滤\x00后解码再解析；pandas可用on_bad_lines="skip"跳过错误行。

python怎样修复损坏的csv_csverror异常处理与容错读取

csv.Error: line contains NULL byte 怎么跳过坏行

这是最常见的损坏 CSV 场景：文件里混入了二进制数据（比如被截断的图片、日志里的 \x00）、或用非文本编辑器保存时引入了不可见控制字符。csv.reader 遇到 \x00 会直接抛 csv.Error: line contains NULL byte，不给你任何机会处理。

根本解法不是“修复”，而是绕过——用二进制模式打开，手动按行切分，再喂给 csv.reader：

import csv
import io
<p>with open("broken.csv", "rb") as f:
for line in f:</p><h1>跳过含 \x00 的整行（也可尝试 replace 或 decode 后过滤）</h1><pre class="brush:python;toolbar:false;">    if b"\x00" in line:
        continue
    # 解码成字符串（注意编码，常见 utf-8 或 gbk）
    try:
        text_line = line.decode("utf-8")
    except UnicodeDecodeError:
        continue  # 跳过乱码行
    # 用 StringIO 模拟单行 CSV 流
    reader = csv.reader(io.StringIO(text_line))
    try:
        row = next(reader)
        print(row)
    except csv.Error:
        continue

别用 open(..., "r") 直接读，那是 csv 模块报错的根源
decode() 编码必须和文件实际一致，不确定时先试 utf-8，失败再试 gbk 或 latin-1（后者永不失败但可能乱码）
latin-1 可以安全解码任意字节，适合后续做正则清洗，但中文会变问号

pandas.read_csv 如何容忍解析错误

pandas.read_csv 默认遇到格式错误就停，但其实内置了容错开关：on_bad_lines 和 error_bad_lines（旧版）。

关键区别：

on_bad_lines="skip"：跳过整行（推荐）
on_bad_lines="warn"：打印警告但继续（方便定位问题行）
on_bad_lines=lambda x: [...] ：自定义处理逻辑（比如只取前 N 列）
如果用老版本 pandas（error_bad_lines=False，但已弃用

示例：

import pandas as pd
df = pd.read_csv(
    "broken.csv",
    on_bad_lines="skip",
    encoding="utf-8",  # 显式指定，避免自动探测失败
    engine="python"     # C 引擎对损坏更敏感，python 引擎容错略强
)

注意：engine="python" 会变慢，但能处理更多畸形结构（如引号不闭合）；encoding 不写可能触发 UnicodeDecodeError，比 csv.Error 更早报错。

如何检测并定位 CSV 损坏位置

光跳过不够，得知道哪坏了——否则数据偏差没人发现。

python全能编程助手

SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的双功能合体技能，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途：；核心要点📝 题解模式：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式：输入 Python 代码，自动添加详细中。它将相关步骤、

下载

简单有效的方法：逐行用 csv.Sniffer + 手动 csv.reader 检查：

import csv
<p>def find_broken_lines(filepath, limit=1000):
with open(filepath, "r", encoding="utf-8", errors="ignore") as f:
for i, line in enumerate(f, 1):
if i > limit:
break
try:</p><h1>用空 StringIO 喂单行，强制解析</h1><pre class="brush:python;toolbar:false;">            list(csv.reader([line]))
        except csv.Error as e:
            print(f"Line {i} error: {e}")
            print(f"Raw: {repr(line[:50])}")

find_broken_lines("broken.csv")

errors="ignore" 防止 UnicodeDecodeError 干扰 csv.Error 检测
repr() 能暴露不可见字符（比如 'abc\x00def'）
不要依赖 csv.Sniffer.sniff() 查损坏——它只看头部几行，不校验全文

用 codecs.open 处理 BOM 和编码残留

Windows 记事本保存的 CSV 经常带 BOM（\ufeff），导致第一列名变成 \ufeffname；或者 UTF-8 文件被当 ANSI 读，出现。

正确做法是显式声明编码，并让 Python 自动剥离 BOM：

UTF-8 带 BOM：用 encoding="utf-8-sig"（推荐）
GBK/GB2312：用 encoding="gb18030"（兼容性最好）
完全不确定？先用 chardet 库探测：chardet.detect(open("f.csv","rb").read(10000))["encoding"]

示例：

import csv
with open("bom.csv", "r", encoding="utf-8-sig") as f:
    reader = csv.DictReader(f)
    print(next(reader).keys())  # 第一个 key 不再带 \ufeff

BOM 是字节序标记，不是数据，utf-8-sig 会自动吃掉它——不用自己 .lstrip("\ufeff")，那只是掩盖问题。

真正难的不是跳过坏行，而是判断“这一行该不该跳”。有些 NULL byte 是日志截断残留，跳过合理；但有些是字段里合法的二进制 Base64 片段，删了就丢数据。得结合业务看原始文件生成链路，不能只靠通用容错。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！