使用 Python 和 NLTK 進行標記化和 WordNet 基礎知識簡介

自然語言處理（NLP）是一個令人著迷的領域，它結合了語言學和計算來理解、解釋和操縱人類語言。最強大的工具之一是 Python 中的自然語言工具包 (NLTK)。在本文中，我們將探討標記化的概念以及 WordNet（廣泛用於 NLP 的英語詞彙庫）的使用。

什麼是代幣化？

標記化是將文字分成更小的單元（稱為標記）的過程。這些標記可以是單字、短語，甚至是單字。標記化是文字處理中的關鍵步驟，因為它允許演算法更有效地理解和分析文本。

例如，考慮短語「Hello, world!」。對該短語進行標記可以產生三個標記：[“Hello”、“、”“world”、“！”]。這種劃分允許單獨分析文本的每個部分，從而促進情緒分析、機器翻譯和命名實體識別等任務。

在 NLTK 中，標記化可以透過多種方式完成。讓我們來看一些實際例子。

將句子中的文字標記

將文字分成句子是許多 NLP 任務的第一步。 NLTK 透過 sent_tokenize 函數讓這一切變得簡單。

import nltk
from nltk.tokenize import sent_tokenize

texto = "Olá mundo! Bem-vindo ao tutorial de NLTK. Vamos aprender a tokenizar textos."
sentencas = sent_tokenize(texto, language='portuguese')
print(sentencas)

結果將是：

['Olá mundo!', 'Bem-vindo ao tutorial de NLTK.', 'Vamos aprender a tokenizar textos.']

這裡，文字被分成三個句子。這對於更詳細的分析很有用，每個句子都可以單獨處理。

將句子標記為單字

將文字分割成句子後，下一步通常是將這些句子分割成單字。 NLTK 的 word_tokenize 函數就是用於此目的。

from nltk.tokenize import word_tokenize

frase = "Olá mundo!"
palavras = word_tokenize(frase, language='portuguese')
print(palavras)

結果將是：

['Olá', 'mundo', '!']

現在我們將每個單字和標點符號作為單獨的標記。這對於詞頻分析等任務至關重要，我們需要計算每個單字在文本中出現的次數。

使用正規表示式進行標記化

在某些情況下，您可能需要更個人化的標記化。正規表示式（regex）是一個強大的工具。 NLTK 提供了 RegexpTokenizer 類別來建立自訂標記產生器。

from nltk.tokenize import RegexpTokenizer

tokenizer = RegexpTokenizer(r'\w+')
tokens = tokenizer.tokenize("Vamos aprender NLTK.")
print(tokens)

結果將是：

['Vamos', 'aprender', 'NLTK']

在這裡，我們使用正規表示式，僅選擇由字母數字字元組成的單詞，忽略標點符號。

WordNet 簡介

WordNet 是一個詞彙資料庫，它將單字分組為同義詞集（稱為同義詞集），提供簡短且通用的定義，並記錄這些單字之間的各種語義關係。在 NLTK 中，WordNet 用於尋找同義詞、反義詞、下位詞和上位詞以及其他關係。

要使用WordNet，我們需要從NLTK匯入wordnet模組。

from nltk.corpus import wordnet

搜尋同義詞集

同義詞集或同義詞集是一組具有相同意義的單字。要搜尋單字的同義詞集，我們使用 synsets.
函數

sinonimos = wordnet.synsets("dog")
print(sinonimos)

結果將是代表單字「dog」的不同含義的同義詞集清單。

[Synset('dog.n.01'), Synset('frump.n.01'), Synset('dog.n.03'), Synset('cad.n.01'), Synset('frank.n.02'), Synset('pawl.n.01'), Synset('andiron.n.01')]

每個同義詞集都由一個名稱來標識，該名稱包括單字、詞性（n 表示名詞，v 表示動詞等）以及區分不同含義的數字。

定義和範例

我們可以得到特定同義詞集的定義和使用範例。

sinonimo = wordnet.synset('dog.n.01')
print(sinonimo.definition())
print(sinonimo.examples())

結果將是：

a domesticated carnivorous mammal (Canis familiaris) that typically has a long snout, an acute sense of smell, non-retractile claws, and a barking, howling, or whining voice
['the dog barked all night']

這讓我們清楚地理解了「狗」在這種情況下的含義和用法。

搜尋同義詞和反義詞

要找單字的同義詞和反義詞，我們可以探索同義詞集引理。

sinonimos = []
antonimos = []

for syn in wordnet.synsets("good"):
    for lemma in syn.lemmas():
        sinonimos.append(lemma.name())
        if lemma.antonyms():
            antonimos.append(lemma.antonyms()[0].name())

print(set(sinonimos))
print(set(antonimos))

結果將是單字「good」的同義詞和反義詞清單。

{'skillful', 'proficient', 'practiced', 'unspoiled', 'goodness', 'good', 'dependable', 'sound', 'right', 'safe', 'respectable', 'effective', 'trade_good', 'adept', 'good', 'full', 'commodity', 'estimable', 'honorable', 'undecomposed', 'serious', 'secure', 'dear', 'ripe'}
{'evilness', 'evil', 'ill'}

計算語意相似度

WordNet 還允許您計算單字之間的語義相似度。相似度基於下位詞/上位詞圖中同義詞集之間的距離。

from nltk.corpus import wordnet

cachorro = wordnet.synset('dog.n.01')
gato = wordnet.synset('cat.n.01')
similaridade = cachorro.wup_similarity(gato)
print(similaridade)

結果將是 0 和 1 之間的相似度值。

0.8571428571428571

這個數值表示「狗」和「貓」在語意上非常相似。

Filtrando Stopwords

Stopwords são palavras comuns que geralmente não adicionam muito significado ao texto, como "e", "a", "de". Remover essas palavras pode ajudar a focar nas partes mais importantes do texto. O NLTK fornece uma lista de stopwords para várias línguas.

from nltk.corpus import stopwords

stop_words = set(stopwords.words('portuguese'))
palavras = ["Olá", "mundo", "é", "um", "lugar", "bonito"]
palavras_filtradas = [w for w in palavras if not w in stop_words]
print(palavras_filtradas)

O resultado será:

['Olá', 'mundo', 'lugar', 'bonito']

Aqui, as stopwords foram removidas da lista original de palavras.

Aplicações Práticas

Análise de Sentimentos

A análise de sentimentos é uma aplicação comum de PLN onde o objetivo é determinar a opinião ou emoção expressa em um texto. Tokenização e o uso de WordNet são passos importantes nesse processo.

Primeiro, dividimos o texto em palavras e removemos as stopwords. Em seguida, podemos usar os synsets para entender melhor o contexto e a polaridade das palavras.

texto = "Eu amo programação em Python!"
palavras = word_tokenize(texto, language='portuguese')
palavras_filtradas = [w for w in palavras if not w in stop_words]

polaridade = 0
for palavra in palavras_filtradas:
    synsets = wordnet.synsets(palavra, lang='por')
    if synsets:
        for syn in synsets:
            polaridade += syn.pos_score() - syn.neg_score()

print("Polaridade do texto:", polaridade)

Nesse exemplo simplificado, estamos somando os scores positivos e negativos dos synsets das palavras filtradas para determinar a polaridade geral do texto.

Reconhecimento de Entidades Nomeadas

Outra aplicação é o reconhecimento de entidades nomeadas (NER), que identifica e classifica nomes de pessoas, organizações, locais, etc., em um texto.

import nltk
nltk.download('maxent_ne_chunker')
nltk.download('words')

frase = "Barack Obama foi o 44º presidente dos Estados Unidos."
palavras = word_tokenize(frase, language='portuguese')
tags = nltk.pos_tag(palavras)
entidades = nltk.ne_chunk(tags)
print(entidades)

O resultado será uma árvore que identifica "Barack Obama" como uma pessoa e "Estados Unidos" como um local.

Conclusão

Neste texto, exploramos os conceitos básicos de tokenização e uso do WordNet com a biblioteca NLTK em Python. Vimos como dividir textos em sentenças e palavras, como buscar sinônimos e antônimos, calcular similaridades semânticas, e aplicações práticas como análise de sentimentos e reconhecimento de entidades nomeadas. A NLTK é uma ferramenta poderosa para qualquer pessoa interessada em processamento de linguagem natural, oferecendo uma ampla gama de funcionalidades para transformar e analisar textos de forma eficaz.

以上是使用 Python 和 NLTK 進行標記化和 WordNet 基礎知識簡介的詳細內容。更多資訊請關注PHP中文網其他相關文章！