将文本文档转换为带有TFIDFECTORIZER的TF-IDF矩阵

本文解释了术语“频率分析”频率（TF-IDF）技术，这是一种自然语言处理（NLP）的关键工具，用于分析文本数据。 TF-IDF通过基于文档中的频率加权术语来超越基本单词袋方法的局限性，并在文档集合中稀有。这种增强的权重改善了文本分类，并提高了机器学习模型的分析能力。我们将演示如何从Python中从头开始构建TF-IDF模型并执行数值计算。

目录

• TF-IDF中的关键术语
• 解释的术语频率（TF）
• 文档频率（DF）解释了
• 逆文件频率（IDF）解释了
• 了解TF-IDF
  • 数值TF-IDF计算
  • 步骤1：计算术语频率（TF）
  • 步骤2：计算逆文档频率（IDF）
  • 步骤3：计算TF-IDF
• 使用内置数据集实现Python
  • 步骤1：安装必要的库
  • 步骤2：导入库
  • 步骤3：加载数据集
  • 步骤4：初始化TfidfVectorizer
  • 步骤5：安装和转换文档
  • 步骤6：检查TF-IDF矩阵
• 结论
• 常见问题

TF-IDF中的关键术语

在继续之前，让我们定义关键术语：

• t ：术语（单词）
• D ：文档（一组单词）
• N ：语料库中的文档总数
• 语料库：整个文档集合

解释的术语频率（TF）

术语频率（TF）量化特定文档中一个项出现的频率。更高的TF表明该文档中的重要性更大。公式是：

文档频率（DF）解释了

文档频率（DF）测量包含特定术语的语料库中的文档数量。与TF不同，它计算出一个术语的存在，而不是其出现。公式是：

df（t）=包含术语t的文档数量

逆文件频率（IDF）解释了

逆文档频率（IDF）评估单词的信息性。虽然TF平等地对待所有术语，但IDF会减小常用单词（例如停止单词）和上级稀有术语。公式是：

其中n是文档总数，而df（t）是包含术语t的文档数量。

了解TF-IDF

TF-IDF结合了项频率和反向文档频率，以确定文档中相对于整个语料库的术语意义。公式是：

数值TF-IDF计算

让我们用示例文档说明数值TF-IDF计算：

文件：

1. “天空是蓝色的。”
2. “今天的阳光很灿烂。”
3. “天空中的阳光很灿烂。”
4. “我们可以看到闪闪发光的阳光，灿烂的阳光。”

按照原始文本中概述的步骤，我们计算每个文档中每个术语的TF，IDF，然后计算TF-IDF。 （此处省略了详细的计算，但它们反映了原始示例。）

使用内置数据集实现Python

本节将使用Scikit-Learn的TfidfVectorizer和20个新闻组数据集进行了TF-IDF计算。

步骤1：安装必要的库

PIP安装Scikit-Learn

步骤2：导入库

导入大熊猫作为pd
来自sklearn.datasets import fetch_20newsgroups
来自sklearn.feature_extraction.text导入tfidfvectorizer

步骤3：加载数据集

newsgroups = fetch_20newsgroups（subset ='train'）

步骤4：初始化TfidfVectorizer

 vectorizer = tfidfvectorizer（stop_words ='英语'，max_features = 1000）

步骤5：安装和转换文档

tfidf_matrix = vectorizer.fit_transform（newsgroups.data）

步骤6：检查TF-IDF矩阵

df_tfidf = pd.dataframe（tfidf_matrix.toArray（），columns = vectorizer.get_feature_names_out（））
df_tfidf.head（） 

结论

使用20个新闻组数据集和TfidfVectorizer ，我们有效地将文本文档转换为TF-IDF矩阵。该矩阵表示每个术语的重要性，从而实现了各种NLP任务，例如文本分类和聚类。 Scikit-Learn的TfidfVectorizer显着简化了这一过程。

常见问题

常见问题解答部分在很大程度上保持不变，解决了IDF的对数性质，对大数据集的可扩展性，TF-IDF的局限性（忽略单词顺序和上下文）以及常见的应用程序（搜索引擎，文本分类，群集，群集，摘要）。

以上是将文本文档转换为带有TFIDFECTORIZER的TF-IDF矩阵的详细内容。更多信息请关注PHP中文网其他相关文章！