Python实战:高效处理不规范文本文件并转换为CSV

冬芳大大_6766

冬芳大大_6766

2025-10-31

241人浏览

原创

Python实战:高效处理不规范文本文件并转换为CSV

本教程详细阐述了如何使用python和正则表达式处理结构不规则、空格分隔的文本文件,并将其转换为规范的csv格式。针对传统解析方法失效的“坏”文本文件,文章提供了一种自定义解析策略,通过智能识别和替换空格序列为制表符,有效解决字段边界模糊和字段内空格干扰的问题,确保数据准确提取。

引言:不规范文本文件的挑战

在数据处理中,我们经常会遇到格式不规范的文本文件,尤其是一些遗留系统或人工生成的报告。这类文件通常使用空格作为字段分隔符,但其“不规范”之处在于:

  1. 不一致的空格数量:不同字段之间的空格数量可能不固定。
  2. 字段内包含空格:某些字段本身的值中可能包含空格,这些空格可能被误识别为分隔符。
  3. 空字段表示:空字段可能通过多个连续空格来表示,其长度与其他字段分隔符的空格长度相似,难以区分。

当遇到此类“坏”文本文件时,诸如pandas.read_csv等标准库函数,即使尝试使用sep='\t'或sep=r'\s{2,}'等参数,也往往难以准确解析,导致数据错位或合并。这要求我们采用更灵活、更具上下文感知能力的自定义解析方法。

自定义解析策略:Python与正则表达式

解决这类问题的核心在于利用Python的正则表达式(re模块)进行精细化匹配和替换。我们的目标是将不规则的空格序列转换为统一的制表符(\t),从而可以使用制表符作为可靠的分隔符来拆分字段。

1. 文件读取与初步处理

首先,我们需要逐行读取文本文件,并对每行进行基本的清理,例如移除行尾的换行符。

import re
import pandas as pd
import csv # 也可以使用 csv 模块进行输出

def parse_bad_txt_to_table(filepath):
    table = []
    with open(filepath, 'r', encoding='utf-8') as f:
        lines = f.readlines()

    for i, line in enumerate(lines):
        line = line.rstrip('\n') # 移除行尾换行符
        # ... 后续解析逻辑

2. 头部行解析

通常,文件的第一行是标题行(Header)。标题行中的字段名通常不会包含内部空格,因此我们可以相对简单地通过两个或更多空格来拆分它。

        if i == 0:
            # 标题行:通过两个或更多空格进行拆分
            row = re.split(r' {2,}', line)
            table.append(row)
            continue

3. 处理空白行

在某些不规范文件中,标题行和数据行之间可能存在一个或多个空白行。我们需要跳过这些空白行,以避免它们干扰数据解析。

Python 环境工具专业版
Python 环境工具专业版

Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期,并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看,该技能

下载
        if i == 1: # 假设第二行是空白行
            if line.strip() != '': # 增加一个检查,确保确实是空白行
                print(f"Warning: Expected blank line at index 1, found: '{line}'")
            continue

4. 数据行解析的核心:智能替换函数

数据行的解析是整个过程最复杂的部分,因为我们需要区分字段分隔符和字段内部的空格。这里我们使用re.sub()函数结合一个自定义的替换函数(replfunc)来实现。replfunc会根据匹配到的空格序列的长度及其上下文来决定如何替换。

        # 数据行解析
        def replfunc(mo):
            L = len(mo.group(0)) # 匹配到的空格序列的长度
            start, end = mo.span() # 匹配到的空格序列在原始行中的起始和结束位置

            # 特殊情况处理:字段内部的空格
            # 示例中发现 "Rejected at  level." 这种模式,两个空格是字段值的一部分
            if L == 2 and line[:start].endswith('Rejected at') and line[end:].startswith('level.'):
                return ' ' # 替换为单个空格,而不是分隔符

            # 其他情况,根据空格序列长度判断为字段分隔符
            # 这里的逻辑高度依赖于具体数据文件的空格模式,需要根据实际情况调整
            if L <p><strong>replfunc的关键点:</strong></p>
  • 它接收一个匹配对象mo,通过mo.group(0)获取匹配到的字符串(即连续的空格)。
  • L是空格序列的长度。
  • 通过line[:start]和line[end:]检查匹配位置前后的文本,实现上下文感知。这是识别字段内空格的关键。
  • 对于被识别为字段分隔符的空格序列,根据其长度替换为不同数量的制表符。例如,如果一个长空格序列实际上代表了两个空字段,则替换为\t\t。这使得即使原始数据中没有显式的分隔符,也能正确生成空字段。

5. 构建数据表格

经过上述处理,每行数据都被转换成了一个字段列表。我们将这些列表存储在一个更大的列表(table)中,形成一个二维数据结构。

完整代码示例

将上述逻辑整合,形成一个完整的Python函数:

import re
import pandas as pd

def parse_bad_txt_to_table(filepath):
    """
    解析不规范的空格分隔文本文件,并返回一个二维列表(表格)。
    """
    table = []
    try:
        with open(filepath, 'r', encoding='utf-8') as f:
            lines = f.readlines()
    except FileNotFoundError:
        print(f"Error: File not found at {filepath}")
        return []
    except Exception as e:
        print(f"Error reading file {filepath}: {e}")
        return []

    for i, line in enumerate(lines):
        line = line.rstrip('\n') # 移除行尾换行符

        if i == 0:
            # 标题行:通过两个或更多空格进行拆分
            row = re.split(r' {2,}', line)
            table.append(row)
            continue

        if i == 1:
            # 假设第二行是空白行,跳过
            if line.strip() != '':
                print(f"Warning: Expected blank line at index 1, found: '{line}'")
            continue

        # 数据行解析
        def replfunc(mo):
            L = len(mo.group(0)) # 匹配到的空格序列的长度
            start, end = mo.span() # 匹配到的空格序列在原始行中的起始和结束位置

            # 特殊情况处理:字段内部的空格,例如 "Rejected at  level."
            if L == 2 and line[:start].endswith('Rejected at') and line[end:].startswith('level.'):
                return ' ' # 替换为单个空格,作为字段值的一部分

            # 否则,根据空格序列长度判断为字段分隔符
            if L 

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

5116

8

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

2023.07.05

3561

4

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

9962

9

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

2023.08.11

832

5

正则表达式空格
正则表达式空格

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

540

5

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

713

12

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

2023.11.17

406

3

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.12.06

739

7

php正则表达式有哪些
php正则表达式有哪些

php正则表达式有"/pattern/"、"^"、"$"、"."、"[]"、"[^]"、"[a-z]"、"[A-Z]"、"[0-9]"、"\d"、"\D"、"\w"、"\W"、&a

2024.02.23

312

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程