将半结构化文本解析为Pandas DataFrame的实用指南

星丽小哥_5428

星丽小哥_5428

2025-10-27

916人浏览

原创

将半结构化文本解析为Pandas DataFrame的实用指南

本教程详细介绍了如何将半结构化的纯文本文件(如factiva文章)高效地解析并转换为结构化的pandas dataframe。文章涵盖了两种主要方法:一种是基于固定行号的简单提取方案,适用于格式严格一致的文本;另一种是利用正则表达式实现更灵活、更精确的数据抽取,能够捕获文章标题、字数、日期、来源、语言及正文内容。教程还演示了如何批量处理多个文件,并讨论了数据清洗与错误处理的关键考量,旨在帮助用户将原始文本数据转化为可分析的格式。

在数据分析和处理领域,我们经常会遇到需要从非结构化或半结构化文本中提取特定信息并将其整理成结构化数据的场景。例如,从新闻稿、报告或文档中自动提取文章标题、发布日期、作者、内容等,以便后续进行统计分析或机器学习任务。本教程将以Factiva文本文件为例,详细讲解如何使用Python和Pandas库实现这一目标。

理解文本结构

首先,我们需要仔细分析待处理的文本文件的结构。Factiva文件通常包含一系列元数据(如字数、日期、来源、语言)和文章正文。以提供的样本为例:

Section 
US Treas Dept on Feb 13 makes public text of speech made by Sec Shultz at...

228 words  
15 February 1974  
New York Times Abstracts  
NYTA  
Pg. 1, Col. 1  
English  
c. 1974 New York Times Company

US Treas Dept on Feb 13 makes public text of speech made by Sec Shultz at closed session of 13-nation energy conf in which he lists ideas and suggestions for dealing with purely financial problems raised for world by huge increase in price of oil. ...

Document nyta000020011127d62f07et9

我们可以观察到以下模式:

  • 文章标题 (Section Title):通常在 "Section" 关键字之后,第一个空行之前。
  • 字数 (Word Count):形如 "XXX words"。
  • 日期 (Date):形如 "DD Month YYYY"。
  • 新闻来源 (News Source):日期之后的第一行描述性文本。
  • 语言 (Language):通常是 "English" 或其他语言名称。
  • 文章内容 (Content):在所有元数据之后,"Document" 关键字之前。

方法一:基于固定行号的简单提取

如果您的文本文件结构非常严格和一致,即每个信息字段总是出现在固定的行号上,那么可以采用一种简单直接的行号索引方法。这种方法实现起来较为简单,但对格式变化非常敏感。

Python 环境工具专业版
Python 环境工具专业版

Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期,并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看,该技能

下载
import pandas as pd

def extract_text_info_fixed(text):
    """
    根据固定行号从文本中提取信息。
    此方法要求文本结构高度一致。
    """
    lines = text.strip().split('\n')

    # 确保行数足够,避免索引越界
    section_title = lines[1].strip() if len(lines) > 1 else None
    word_count = int(lines[3].split()[0]) if len(lines) > 3 and lines[3].strip().endswith("words") else None
    date = lines[4].strip() if len(lines) > 4 else None
    news_source = lines[5].strip() if len(lines) > 5 else None

    # 注意:此固定行号方法未包含语言和完整内容,因为它们的位置不固定或需要更复杂的逻辑
    # 语言可能在第7行,但如果中间有其他可选行,则会错位
    # 完整内容则需要更复杂的段落识别逻辑

    info = {
        "Section": section_title,
        "Word Count": word_count,
        "Date": date,
        "News Source": news_source,
        # "Language": None, # 无法通过固定行号可靠提取
        # "Content": None   # 无法通过固定行号可靠提取
    }
    return info

# 示例:使用多个文本片段进行测试
list_of_texts = [
    """
Section 
US Treas Dept on Feb 13 makes public text of speech made by Sec Shultz at...

228 words
15 February 1974
New York Times Abstracts
NYTA
Pg. 1, Col. 1
English
c. 1974 New York Times Company

US Treas Dept on Feb 13 makes public text of speech made by Sec Shultz at closed session of 13-nation energy conf in which he lists ideas and suggestions for dealing with purely financial problems raised for world by huge increase in price of oil. ...

Document nyta000020011127d62f07et9
""",
    """
Section 
Another Section in your texts

99999 words
24 March 2023
Forbes
...
Pg. 1, Col. 1
...
...

This is the content for another section. It can be quite long and span multiple paragraphs.
It might also have some special characters or formatting.

Document doc_id_12345
"""
]

# 存储解析结果
data_list_fixed = []
for text in list_of_texts:
    result = extract_text_info_fixed(text)
    if result:
        data_list_fixed.append(result)

# 转换为Pandas DataFrame
df_fixed = pd.DataFrame(data_list_fixed)
print("--- Fixed-Line Parsing Results ---")
print(df_fixed)

注意事项:

  • 此方法对文本格式的微小变化(如新增一行、删除一行或空行数量变化)非常脆弱,容易导致索引错误或提取到错误的数据。
  • 它不适合提取跨越多行的字段(如文章正文)或位置不固定的字段。

方法二:使用正则表达式进行鲁棒性提取

对于半结构化文本,正则表达式(Regex)是更强大和灵活的工具。它允许我们通过模式匹配来定位和提取信息,即使文本中存在一些变化或可选字段。我们将构建一个综合的正则表达式来一次性捕获所有目标字段。

import re
import pandas as pd

def parse_factiva_text_regex(text):
    """
    使用正则表达式从Factiva文本中提取文章信息。
    此方法对文本结构的变化具有更好的鲁棒性。
    """
    # re.DOTALL 允许 '.' 匹配包括换行符在内的任何字符
    # re.VERBOSE 允许在正则表达式中使用空格和注释,提高可读性
    pattern = re.compile(r"""
        Section\s*\n                                      # "Section" 关键字后跟可选空格和换行
        (?P<section_title>.*?)\n\n                        # 捕获文章标题,直到两个换行符
        (?P<word_count>\d+)\s+words\n                     # 捕获字数
        (?P<date>\d{1,2}\s+\w+\s+\d{4})\n                 # 捕获日期 (e.g., 15 February 1974)
        (?P<news_source>.*?)\n                            # 捕获新闻来源 (多词)
        (?:NYTA\n)?                                       # 可选的 'NYTA' 行 (非捕获组)
        (?:Pg\.\s*\d+,\s*Col\.\s*\d+\n)?                  # 可选的页面/列信息行 (非捕获组)
        (?P<language>.*?)\n                               # 捕获语言
        (?:c\.\s*\d{4}\s+.*?Company\n)?                   # 可选的版权信息行 (非捕获组)
        \n                                                # 元数据与正文之间的空行
        (?P<content>.*?)                                  # 捕获文章正文 (非贪婪匹配)
        (?:Document\s+.*)?                                # 可选的文档ID行 (非捕获组)
    """, re.VERBOSE | re.DOTALL)

    match = pattern.search(text)

    if match:
        data = match.groupdict()
        # 对捕获到的数据进行清洗和类型转换
        data['section_title'] = data['section_title'].strip()
        data['word_count'] = int(data['word_count'])
        data['news_source'] = data['news_source'].strip()
        data['language'] = data['language'].strip()
        data['content'] = data['content'].strip()
        return data
    return None

# 示例:使用上述定义的文本片段进行测试
data_list_regex = []
for text in list_of_texts:
    result = parse_factiva_text_regex(text)
    if result:
        data_list_regex.append(result)

# 转换为Pandas DataFrame,并重命名列以符合要求
df_regex = pd.DataFrame(data_list_regex)
df_regex.rename(columns={
    'section_title': 'Section',
    'word_count': 'Word Count',
    'date': 'Date',
    'news_source': 'News Source',
    'language': 'Language',
    'content': 'Content'
}, inplace=True)

print("\n--- Regex Parsing Results ---")
print(df_regex)</content></language></news_source></date></word_count></section_title>

代码解释:

  • re.compile():编译正则表达式模式,提高重复使用时的效率。
  • re.VERBOSE:允许在模式字符串中添加注释和空白,使复杂的正则表达式更易读。
  • re.DOTALL:使 . 匹配包括换行符在内的所有字符,这对于捕获跨多行的内容(如文章正文)至关重要。
  • (?P...):命名捕获组,允许我们通过名称(如 section_title)而不是索引来访问匹配到的内容。
  • (?:...):非捕获组,用于分组但不存储匹配内容,常用于可选模式。
  • .*?:非贪婪匹配,尽可能少地匹配字符。这对于捕

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

5076

8

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

2023.07.05

3521

4

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

9842

9

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

2023.08.11

832

5

正则表达式空格
正则表达式空格

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

540

5

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

693

12

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

2023.11.17

406

3

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.12.06

739

7

php正则表达式有哪些
php正则表达式有哪些

php正则表达式有"/pattern/"、"^"、"$"、"."、"[]"、"[^]"、"[a-z]"、"[A-Z]"、"[0-9]"、"\d"、"\D"、"\w"、"\W"、&a

2024.02.23

312

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程