Maison > Article > développement back-end > Comment utiliser la bibliothèque jieba en Python ?

Comment utiliser la bibliothèque jieba en Python ?

PHPzavant: 2023-05-09 23:10:076365parcourir

Tutoriel d'utilisation et d'installation de la bibliothèque jieba (bibliothèque de segmentation de mots chinois) en Python

Introduction

jieba est une excellente bibliothèque tierce pour la segmentation de mots chinois. Étant donné que chaque caractère chinois dans le texte chinois est écrit en continu, nous devons utiliser une méthode spécifique pour obtenir chaque mot qu'il contient. Cette méthode est appelée segmentation de mots. Jieba est une très excellente bibliothèque tierce pour la segmentation des mots chinois dans l'écosystème informatique Python. Vous devez l'installer pour l'utiliser.

La bibliothèque Jieba propose trois modes de segmentation de mots, mais en fait, pour obtenir l'effet de segmentation de mots, il suffit de maîtriser une seule fonction, ce qui est très simple et efficace.

Pour installer des bibliothèques tierces, vous devez utiliser l'outil pip et exécuter la commande d'installation sur la ligne de commande (pas IDLE). Remarque : Vous devez ajouter le répertoire Python et le répertoire Scripts en dessous aux variables d'environnement.

Utilisez la commande pip install jieba pour installer la bibliothèque tierce. Après l'installation, elle vous demandera si l'installation a réussi.

Principe de segmentation des mots : Pour faire simple, la bibliothèque jieba identifie la segmentation des mots grâce à la bibliothèque de vocabulaire chinois. Il utilise d'abord un lexique chinois pour calculer les probabilités d'association entre les caractères chinois qui forment des mots via le lexique. Par conséquent, en calculant les probabilités entre les caractères chinois, le résultat de la segmentation des mots peut être formé. Bien entendu, en plus de la propre bibliothèque de vocabulaire chinois de Jieba, les utilisateurs peuvent également y ajouter des expressions personnalisées, rendant ainsi la segmentation des mots de Jieba plus proche de l'utilisation dans certains domaines spécifiques.

jieba est une bibliothèque de segmentation de mots chinois pour python. Voici comment l'utiliser.

Installez la fonction

方式1：
pip install jieba
 
方式2：
先下载 http://pypi.python.org/pypi/jieba/
然后解压，运行 python setup.py install

Segmentation de mots

jieba, les trois modes couramment utilisés :

Mode exact, essayant de couper la phrase avec la plus grande précision, adapté à l'analyse de texte ;
Mode complet, coupant tout le texte ; phrases dans la phrase Tous les mots qui peuvent être transformés en mots sont analysés, ce qui est très rapide, mais ne peut pas résoudre les ambiguïtés
Le mode moteur de recherche, basé sur le mode précis, re-segmente les mots longs pour améliorer le taux de rappel ; adapté aux moteurs de recherche Participe.

Vous pouvez utiliser les méthodes jieba.cut et jieba.cut_for_search pour la segmentation de mots. La structure renvoyée par les deux est un générateur itérable. Vous pouvez utiliser une boucle for. pour obtenir chaque mot (unicode) obtenu après segmentation des mots, ou utilisez directement jieba.lcut et jieba.lcut_for_search pour renvoyer la liste. jieba.cut 和 jieba.cut_for_search 方法进行分词，两者所返回的结构都是一个可迭代的 generator，可使用 for 循环来获得分词后得到的每一个词语（unicode），或者直接使用 jieba.lcut 以及 jieba.lcut_for_search 返回 list。

jieba.Tokenizer(dictionary=DEFAULT_DICT) ：使用该方法可以自定义分词器，可以同时使用不同的词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。

jieba.cut 和 jieba.lcut 可接受的参数如下：

需要分词的字符串（unicode 或 UTF-8 字符串、GBK 字符串）
cut_all：是否使用全模式，默认值为 False
HMM：用来控制是否使用 HMM 模型，默认值为 True

jieba.cut_for_search 和 jieba.lcut_for_search 接受 2 个参数：

需要分词的字符串（unicode 或 UTF-8 字符串、GBK 字符串）
HMM：用来控制是否使用 HMM 模型，默认值为 True
jieba.Tokenizer(dictionary=DEFAULT_DICT) : utilisez cette méthode pour personnaliser le tokenizer et utiliser différents dictionnaires en même temps. jieba.dt est le segmenteur de mots par défaut, et toutes les fonctions globales liées à la segmentation de mots sont des mappages de ce segmenteur de mots.

jieba.cut et jieba.lcut acceptent les paramètres suivants :

Chaîne nécessitant une segmentation de mots (chaîne Unicode ou UTF-8, chaîne GBK)

cut_all : s'il faut utiliser le mode complet, la valeur par défaut est False

HMM : utilisé pour contrôler s'il faut utiliser le modèle HMM, la valeur par défaut est True

jieba.cut_for_search et jieba.lcut_for_search acceptent 2 paramètres :

Chaîne nécessitant une segmentation de mots (chaîne Unicode ou UTF-8, chaîne GBK)

HMM : Utilisé pour contrôler s'il faut utiliser le modèle HMM. La valeur par défaut est True

Il convient de noter qu'essayez de ne pas utiliser de chaînes GBK, qui peuvent être imprévisibles et incorrectes. décodé en UTF-8.

Comparaison de trois modes de segmentation de mots :

# 全匹配
seg_list = jieba.cut("今天哪里都没去，在家里睡了一天", cut_all=True)
print(list(seg_list))  # [&#39;今天&#39;, &#39;哪里&#39;, &#39;都&#39;, &#39;没去&#39;, &#39;&#39;, &#39;&#39;, &#39;在家&#39;, &#39;家里&#39;, &#39;睡&#39;, &#39;了&#39;, &#39;一天&#39;]
 
# 精确匹配 默认模式
seg_list = jieba.cut("今天哪里都没去，在家里睡了一天", cut_all=False)
print(list(seg_list))  # [&#39;今天&#39;, &#39;哪里&#39;, &#39;都&#39;, &#39;没&#39;, &#39;去&#39;, &#39;，&#39;, &#39;在&#39;, &#39;家里&#39;, &#39;睡&#39;, &#39;了&#39;, &#39;一天&#39;]
 
# 精确匹配
seg_list = jieba.cut_for_search("今天哪里都没去，在家里睡了一天")
print(list(seg_list))  # [&#39;今天&#39;, &#39;哪里&#39;, &#39;都&#39;, &#39;没&#39;, &#39;去&#39;, &#39;，&#39;, &#39;在&#39;, &#39;家里&#39;, &#39;睡&#39;, &#39;了&#39;, &#39;一天&#39;]

Dictionnaire personnalisé

Les développeurs peuvent spécifier leur propre dictionnaire personnalisé pour inclure des mots qui ne figurent pas dans le dictionnaire jieba.

Utilisation : jieba.load_userdict(dict_path)

dict_path : est le chemin d'accès au fichier de dictionnaire personnalisé

Un mot occupe une ligne, chaque ligne est divisée en trois parties : mot, fréquence des mots ; (peut être omise), partie du discours (peut être omise) omise), séparés par des espaces, et l'ordre ne peut pas être inversé.
Dictionnaire personnalisé user_dict.txt :
Cours universitaire
Apprentissage profond

Ce qui suit compare les différences entre la correspondance exacte, la correspondance complète et l'utilisation d'un dictionnaire personnalisé :

import jieba
 
 
test_sent = """
数学是一门基础性的大学课程，深度学习是基于数学的，尤其是线性代数课程
"""
 
words = jieba.cut(test_sent)
print(list(words))
# [&#39;\n&#39;, &#39;数学&#39;, &#39;是&#39;, &#39;一门&#39;, &#39;基础性&#39;, &#39;的&#39;, &#39;大学&#39;, &#39;课程&#39;, &#39;，&#39;, &#39;深度&#39;,
# &#39;学习&#39;, &#39;是&#39;, &#39;基于&#39;, &#39;数学&#39;, &#39;的&#39;, &#39;，&#39;, &#39;尤其&#39;, &#39;是&#39;, &#39;线性代数&#39;, &#39;课程&#39;, &#39;\n&#39;]
 
words = jieba.cut(test_sent, cut_all=True)
print(list(words))
# [&#39;\n&#39;, &#39;数学&#39;, &#39;是&#39;, &#39;一门&#39;, &#39;基础&#39;, &#39;基础性&#39;, &#39;的&#39;, &#39;大学&#39;, &#39;课程&#39;, &#39;&#39;, &#39;&#39;, &#39;深度&#39;,
# &#39;学习&#39;, &#39;是&#39;, &#39;基于&#39;, &#39;数学&#39;, &#39;的&#39;, &#39;&#39;, &#39;&#39;, &#39;尤其&#39;, &#39;是&#39;, &#39;线性&#39;, &#39;线性代数&#39;, &#39;代数&#39;, &#39;课程&#39;, &#39;\n&#39;]
 
jieba.load_userdict("userdict.txt")
words = jieba.cut(test_sent)
print(list(words))
# [&#39;\n&#39;, &#39;数学&#39;, &#39;是&#39;, &#39;一门&#39;, &#39;基础性&#39;, &#39;的&#39;, &#39;大学课程&#39;, &#39;，&#39;, &#39;深度学习&#39;, &#39;是&#39;,
# &#39;基于&#39;, &#39;数学&#39;, &#39;的&#39;, &#39;，&#39;, &#39;尤其&#39;, &#39;是&#39;, &#39;线性代数&#39;, &#39;课程&#39;, &#39;\n&#39;]
 
jieba.add_word("尤其是")
jieba.add_word("线性代数课程")
 
words = jieba.cut(test_sent)
print(list(words))
# [&#39;\n&#39;, &#39;数学&#39;, &#39;是&#39;, &#39;一门&#39;, &#39;基础性&#39;, &#39;的&#39;, &#39;大学课程&#39;, &#39;，&#39;, &#39;深度学习&#39;, &#39;是&#39;,
# &#39;基于&#39;, &#39;数学&#39;, &#39;的&#39;, &#39;，&#39;, &#39;尤其是&#39;, &#39;线性代数课程&#39;, &#39;\n&#39;]

De ci-dessus La différence entre l'utilisation d'un dictionnaire personnalisé et l'utilisation du dictionnaire par défaut peut être vue dans l'exemple.

jieba.add_word() : ajoutez des mots au dictionnaire personnalisé
Extraction de mots-clés🎜🎜 L'extraction de mots-clés peut être basée sur l'algorithme TF-IDF ou l'algorithme TextRank. L'algorithme TF-IDF est le même algorithme utilisé dans elasticsearch. 🎜🎜Utilisez la fonction jieba.analyse.extract_tags() pour l'extraction de mots-clés, ses paramètres sont les suivants : 🎜🎜jieba.analyse.extract_tags(sentence, topK=20, withWeight=False,allowPOS=())🎜🎜🎜🎜phrase est être Le texte extrait 🎜🎜🎜🎜topK doit renvoyer plusieurs mots-clés TF/IDF avec le poids le plus élevé, la valeur par défaut est 20🎜🎜🎜🎜withWeight indique s'il faut renvoyer la valeur de poids du mot-clé ensemble, la valeur par défaut est False🎜🎜 🎜🎜allowPOS uniquement Y compris les mots avec une partie du discours spécifiée, la valeur par défaut est vide, c'est-à-dire pas de filtrage🎜🎜🎜🎜jieba.analyse.TFIDF(idf_path=None) Créez une nouvelle instance TFIDF, idf_path est le fichier de fréquence IDF🎜

也可以使用 jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件。

基于 TF-IDF 算法和TextRank算法的关键词抽取：

import jieba.analyse
 
file = "sanguo.txt"
topK = 12
content = open(file, &#39;rb&#39;).read()
 
# 使用tf-idf算法提取关键词
tags = jieba.analyse.extract_tags(content, topK=topK)
print(tags)
# [&#39;玄德&#39;, &#39;程远志&#39;, &#39;张角&#39;, &#39;云长&#39;, &#39;张飞&#39;, &#39;黄巾&#39;, &#39;封谞&#39;, &#39;刘焉&#39;, &#39;邓茂&#39;, &#39;邹靖&#39;, &#39;姓名&#39;, &#39;招军&#39;]
# 使用textrank算法提取关键词
tags2 = jieba.analyse.textrank(content, topK=topK)
 
# withWeight=True：将权重值一起返回
tags = jieba.analyse.extract_tags(content, topK=topK, withWeight=True)
print(tags)
# [(&#39;玄德&#39;, 0.1038549799467099), (&#39;程远志&#39;, 0.07787459004363208), (&#39;张角&#39;, 0.0722532891360849),
# (&#39;云长&#39;, 0.07048801593691037), (&#39;张飞&#39;, 0.060972692853113214), (&#39;黄巾&#39;, 0.058227157790330185),
# (&#39;封谞&#39;, 0.0563904127495283), (&#39;刘焉&#39;, 0.05470798376886792), (&#39;邓茂&#39;, 0.04917692565566038),
# (&#39;邹靖&#39;, 0.04427258239705188), (&#39;姓名&#39;, 0.04219704283997642), (&#39;招军&#39;, 0.04182041076757075)]

上面的代码是读取文件，提取出现频率最高的前12个词。

词性标注

词性标注主要是标记文本分词后每个词的词性，使用例子如下：

import jieba
import jieba.posseg as pseg
 
# 默认模式
seg_list = pseg.cut("今天哪里都没去，在家里睡了一天")
for word, flag in seg_list:
    print(word + " " + flag)
   
"""
使用 jieba 默认模式的输出结果是：
我 r
Prefix dict has been built successfully.
今天 t
吃 v
早饭 n
了 ul
"""
 
# paddle 模式
words = pseg.cut("我今天吃早饭了",use_paddle=True)
"""
使用 paddle 模式的输出结果是：
我 r
今天 TIME
吃 v
早饭 n
了 xc
"""

paddle模式的词性对照表如下：

Comment utiliser la bibliothèque jieba en Python ?

补充：Python中文分词库——jieba的用法

.使用说明

jieba分词有三种模式：精确模式、全模式和搜索引擎模式。

简单说，精确模式就是把一段文本精确的切分成若干个中文单词，若干个中文单词之间经过组合就精确的还原为之前的文本，其中不存在冗余单词。精确模式是最常用的分词模式。

进一步jieba又提供了全模式，全模式是把一段中文文本中所有可能的词语都扫描出来，可能有一段文本它可以切分成不同的模式或者有不同的角度来切分变成不同的词语，那么jieba在全模式下把这样的不同的组合都挖掘出来，所以如果用全模式来进行分词，分词的信息组合起来并不是精确的原有文本，会有很多的冗余。

而搜索引擎模式更加智能，它是在精确模式的基础上对长词进行再次切分，将长的词语变成更短的词语，进而适合搜索引擎对短词语的索引和搜索，在一些特定场合用的比较多。

jieba库提供的常用函数：

jieba.lcut(s)

精确模式，能够对一个字符串精确地返回分词结果，而分词的结果使用列表形式来组织。例如：

>>> import jieba
>>> jieba.lcut("中国是一个伟大的国家")
Building prefix dict from the default dictionary ...
Dumping model to file cache C:\Users\ADMINI~1\AppData\Local\Temp\jieba.cache
Loading model cost 2.489 seconds.
Prefix dict has been built successfully.
[&#39;中国&#39;, &#39;是&#39;, &#39;一个&#39;, &#39;伟大&#39;, &#39;的&#39;, &#39;国家&#39;]

jieba.lcut(s,cut_all=True)

全模式，能够返回一个列表类型的分词结果，但结果存在冗余。例如：

>>> import jieba 
>>> jieba.lcut("中国是一个伟大的国家",cut_all=True)
[&#39;中国&#39;, &#39;国是&#39;, &#39;一个&#39;, &#39;伟大&#39;, &#39;的&#39;, &#39;国家&#39;]

jieba.lcut_for_search(s)

搜索引擎模式，能够返回一个列表类型的分词结果，也存在冗余。例如：

>>> import jieba
>>> jieba.lcut_for_search("中华人民共和国是伟大的")
[&#39;中华&#39;, &#39;华人&#39;, &#39;人民&#39;, &#39;共和&#39;, &#39;共和国&#39;, &#39;中华人民共和国&#39;, &#39;是&#39;, &#39;伟大&#39;, &#39;的&#39;]

jieba.add_word(w)

向分词词库添加新词w

最重要的就是jieba.lcut(s)函数，完成精确的中文分词。

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Python pip for 字符串循环算法 elasticsearch tf-idf 搜索引擎

Déclaration：

Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer

Article précédent：Comment utiliser Python pour obtenir le nouvel index après avoir trié une liste désordonnéeArticle suivant：Comment utiliser Python pour obtenir le nouvel index après avoir trié une liste désordonnée

Articles Liés

Voir plus