自然语言处理(NLP)是一个令人着迷的领域,它结合了语言学和计算来理解、解释和操纵人类语言。最强大的工具之一是 Python 中的自然语言工具包 (NLTK)。在本文中,我们将探讨标记化的概念以及 WordNet(广泛用于 NLP 的英语词汇库)的使用。
什么是代币化?
标记化是将文本划分为更小的单元(称为标记)的过程。这些标记可以是单词、短语,甚至单个字符。标记化是文本处理中的关键步骤,因为它允许算法更有效地理解和分析文本。
例如,考虑短语“Hello, world!”。对该短语进行标记可以产生三个标记:[“Hello”、“、”“world”、“!”]。这种划分允许单独分析文本的每个部分,从而促进情感分析、机器翻译和命名实体识别等任务。
在 NLTK 中,标记化可以通过多种方式完成。让我们看一些实际例子。
对句子中的文本进行标记
将文本分成句子是许多 NLP 任务的第一步。 NLTK 通过 sent_tokenize 函数使这一切变得简单。
import nltk from nltk.tokenize import sent_tokenize texto = "Olá mundo! Bem-vindo ao tutorial de NLTK. Vamos aprender a tokenizar textos." sentencas = sent_tokenize(texto, language='portuguese') print(sentencas)
结果将是:
['Olá mundo!', 'Bem-vindo ao tutorial de NLTK.', 'Vamos aprender a tokenizar textos.']
这里,文本被分为三个句子。这对于更详细的分析很有用,每个句子都可以单独处理。
将句子标记为单词
将文本分割成句子后,下一步通常是将这些句子分割成单词。 NLTK 的 word_tokenize 函数就是用于此目的。
from nltk.tokenize import word_tokenize frase = "Olá mundo!" palavras = word_tokenize(frase, language='portuguese') print(palavras)
结果将是:
['Olá', 'mundo', '!']
现在我们将每个单词和标点符号作为单独的标记。这对于词频分析等任务至关重要,我们需要计算每个单词在文本中出现的次数。
使用正则表达式进行标记化
在某些情况下,您可能需要更个性化的标记化。正则表达式(regex)是一个强大的工具。 NLTK 提供了 RegexpTokenizer 类来创建自定义标记生成器。
from nltk.tokenize import RegexpTokenizer tokenizer = RegexpTokenizer(r'\w+') tokens = tokenizer.tokenize("Vamos aprender NLTK.") print(tokens)
结果将是:
['Vamos', 'aprender', 'NLTK']
在这里,我们使用正则表达式,仅选择由字母数字字符组成的单词,忽略标点符号。
WordNet 简介
WordNet 是一个词汇数据库,它将单词分组为同义词集(称为同义词集),提供简短且通用的定义,并记录这些单词之间的各种语义关系。在 NLTK 中,WordNet 用于查找同义词、反义词、下位词和上位词以及其他关系。
要使用WordNet,我们需要从NLTK导入wordnet模块。
from nltk.corpus import wordnet
搜索同义词集
同义词集或同义词集是一组具有相同含义的单词。要搜索单词的同义词集,我们使用 synsets.
函数
sinonimos = wordnet.synsets("dog") print(sinonimos)
结果将是代表单词“dog”的不同含义的同义词集列表。
[Synset('dog.n.01'), Synset('frump.n.01'), Synset('dog.n.03'), Synset('cad.n.01'), Synset('frank.n.02'), Synset('pawl.n.01'), Synset('andiron.n.01')]
每个同义词集都由一个名称来标识,该名称包括单词、词性(n 表示名词,v 表示动词等)以及区分不同含义的数字。
定义和示例
我们可以获得特定同义词集的定义和使用示例。
sinonimo = wordnet.synset('dog.n.01') print(sinonimo.definition()) print(sinonimo.examples())
结果将是:
a domesticated carnivorous mammal (Canis familiaris) that typically has a long snout, an acute sense of smell, non-retractile claws, and a barking, howling, or whining voice ['the dog barked all night']
这让我们清楚地理解了“狗”在这种情况下的含义和用法。
搜索同义词和反义词
要查找单词的同义词和反义词,我们可以探索同义词集引理。
sinonimos = [] antonimos = [] for syn in wordnet.synsets("good"): for lemma in syn.lemmas(): sinonimos.append(lemma.name()) if lemma.antonyms(): antonimos.append(lemma.antonyms()[0].name()) print(set(sinonimos)) print(set(antonimos))
结果将是单词“good”的同义词和反义词列表。
{'skillful', 'proficient', 'practiced', 'unspoiled', 'goodness', 'good', 'dependable', 'sound', 'right', 'safe', 'respectable', 'effective', 'trade_good', 'adept', 'good', 'full', 'commodity', 'estimable', 'honorable', 'undecomposed', 'serious', 'secure', 'dear', 'ripe'} {'evilness', 'evil', 'ill'}
计算语义相似度
WordNet 还允许您计算单词之间的语义相似度。相似度基于下位词/上位词图中同义词集之间的距离。
from nltk.corpus import wordnet cachorro = wordnet.synset('dog.n.01') gato = wordnet.synset('cat.n.01') similaridade = cachorro.wup_similarity(gato) print(similaridade)
结果将是 0 和 1 之间的相似度值。
0.8571428571428571
这个值表明“狗”和“猫”在语义上非常相似。
Filtrando Stopwords
Stopwords são palavras comuns que geralmente não adicionam muito significado ao texto, como "e", "a", "de". Remover essas palavras pode ajudar a focar nas partes mais importantes do texto. O NLTK fornece uma lista de stopwords para várias línguas.
from nltk.corpus import stopwords stop_words = set(stopwords.words('portuguese')) palavras = ["Olá", "mundo", "é", "um", "lugar", "bonito"] palavras_filtradas = [w for w in palavras if not w in stop_words] print(palavras_filtradas)
O resultado será:
['Olá', 'mundo', 'lugar', 'bonito']
Aqui, as stopwords foram removidas da lista original de palavras.
Aplicações Práticas
Análise de Sentimentos
A análise de sentimentos é uma aplicação comum de PLN onde o objetivo é determinar a opinião ou emoção expressa em um texto. Tokenização e o uso de WordNet são passos importantes nesse processo.
Primeiro, dividimos o texto em palavras e removemos as stopwords. Em seguida, podemos usar os synsets para entender melhor o contexto e a polaridade das palavras.
texto = "Eu amo programação em Python!" palavras = word_tokenize(texto, language='portuguese') palavras_filtradas = [w for w in palavras if not w in stop_words] polaridade = 0 for palavra in palavras_filtradas: synsets = wordnet.synsets(palavra, lang='por') if synsets: for syn in synsets: polaridade += syn.pos_score() - syn.neg_score() print("Polaridade do texto:", polaridade)
Nesse exemplo simplificado, estamos somando os scores positivos e negativos dos synsets das palavras filtradas para determinar a polaridade geral do texto.
Reconhecimento de Entidades Nomeadas
Outra aplicação é o reconhecimento de entidades nomeadas (NER), que identifica e classifica nomes de pessoas, organizações, locais, etc., em um texto.
import nltk nltk.download('maxent_ne_chunker') nltk.download('words') frase = "Barack Obama foi o 44º presidente dos Estados Unidos." palavras = word_tokenize(frase, language='portuguese') tags = nltk.pos_tag(palavras) entidades = nltk.ne_chunk(tags) print(entidades)
O resultado será uma árvore que identifica "Barack Obama" como uma pessoa e "Estados Unidos" como um local.
Conclusão
Neste texto, exploramos os conceitos básicos de tokenização e uso do WordNet com a biblioteca NLTK em Python. Vimos como dividir textos em sentenças e palavras, como buscar sinônimos e antônimos, calcular similaridades semânticas, e aplicações práticas como análise de sentimentos e reconhecimento de entidades nomeadas. A NLTK é uma ferramenta poderosa para qualquer pessoa interessada em processamento de linguagem natural, oferecendo uma ampla gama de funcionalidades para transformar e analisar textos de forma eficaz.
以上是使用 Python 和 NLTK 进行标记化和 WordNet 基础知识简介的详细内容。更多信息请关注PHP中文网其他相关文章!

本教程演示如何使用Python处理Zipf定律这一统计概念,并展示Python在处理该定律时读取和排序大型文本文件的效率。 您可能想知道Zipf分布这个术语是什么意思。要理解这个术语,我们首先需要定义Zipf定律。别担心,我会尽量简化说明。 Zipf定律 Zipf定律简单来说就是:在一个大型自然语言语料库中,最频繁出现的词的出现频率大约是第二频繁词的两倍,是第三频繁词的三倍,是第四频繁词的四倍,以此类推。 让我们来看一个例子。如果您查看美国英语的Brown语料库,您会注意到最频繁出现的词是“th

本文解释了如何使用美丽的汤库来解析html。 它详细介绍了常见方法,例如find(),find_all(),select()和get_text(),以用于数据提取,处理不同的HTML结构和错误以及替代方案(SEL)

Python 提供多种从互联网下载文件的方法,可以使用 urllib 包或 requests 库通过 HTTP 进行下载。本教程将介绍如何使用这些库通过 Python 从 URL 下载文件。 requests 库 requests 是 Python 中最流行的库之一。它允许发送 HTTP/1.1 请求,无需手动将查询字符串添加到 URL 或对 POST 数据进行表单编码。 requests 库可以执行许多功能,包括: 添加表单数据 添加多部分文件 访问 Python 的响应数据 发出请求 首

处理嘈杂的图像是一个常见的问题,尤其是手机或低分辨率摄像头照片。 本教程使用OpenCV探索Python中的图像过滤技术来解决此问题。 图像过滤:功能强大的工具 图像过滤器

PDF 文件因其跨平台兼容性而广受欢迎,内容和布局在不同操作系统、阅读设备和软件上保持一致。然而,与 Python 处理纯文本文件不同,PDF 文件是二进制文件,结构更复杂,包含字体、颜色和图像等元素。 幸运的是,借助 Python 的外部模块,处理 PDF 文件并非难事。本文将使用 PyPDF2 模块演示如何打开 PDF 文件、打印页面和提取文本。关于 PDF 文件的创建和编辑,请参考我的另一篇教程。 准备工作 核心在于使用外部模块 PyPDF2。首先,使用 pip 安装它: pip 是 P

本教程演示了如何利用Redis缓存以提高Python应用程序的性能,特别是在Django框架内。 我们将介绍REDIS安装,Django配置和性能比较,以突出显示BENE

自然语言处理(NLP)是人类语言的自动或半自动处理。 NLP与语言学密切相关,并与认知科学,心理学,生理学和数学的研究有联系。在计算机科学

本文比较了Tensorflow和Pytorch的深度学习。 它详细介绍了所涉及的步骤:数据准备,模型构建,培训,评估和部署。 框架之间的关键差异,特别是关于计算刻度的


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

Dreamweaver CS6
视觉化网页开发工具

禅工作室 13.0.1
功能强大的PHP集成开发环境

适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。

mPDF
mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

Atom编辑器mac版下载
最流行的的开源编辑器