Comment améliorer l'effet de la segmentation des mots jieba pour mieux extraire les mots clés dans les commentaires pittoresques?

Stratégies pour améliorer la segmentation des mots jieba et l'extraction de mots clés de commentaires pittoresques

Beaucoup de gens utilisent Jieba pour la segmentation des mots chinois et combinent des modèles LDA pour extraire les mots clés des commentaires pittoresques, mais la segmentation des mots affecte souvent la précision du résultat final. Par exemple, si vous utilisez directement la segmentation des mots jieba et effectuez ensuite la modélisation LDA, les mots clés du sujet extrait peuvent avoir des erreurs de segmentation de mots.

L'exemple de code suivant montre ce problème:

 # Charger le word stop stop_words de chinois = set (stopwords.words ('chinois'))
BroadcastVar = Spark.SparkContext.Broadcast (stop_words)

# Texte de texte chinois Def Tokenize (texte):
    Liste de retour (jieba.cut (texte))

# Supprimer le mot d'arrêt chinois def delete_stopwords (jetons, stop_words):
    filtered_words = [mot pour mot en jetons si le mot n'est pas dans stop_words]
    filtered_text = '' .join (filtered_words)
    return filtered_text

# Supprimer la ponctuation et les caractères spécifiques def Support_punctuation (input_string):
    punctuation = string.punctuation "!? ｡.》 # ｅ% &＇ () ＊＋, － /:; ＜＝＞＿｜｝］＿｟｠ｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏ
    traducteur = str.maketrans ('', '', ponctuation)
    no_punct = input_string.translate (traducteur)
    retourner no_punct

def thematic_focus (texte):
    à partir des corpus d'importation Gensim, modèles
    num_words = min (len (texte) // 50 3, 10) # ajustez dynamiquement le nombre de mots de sujet tokens = tokenize (texte)
    stop_words = Broadcastvar.Value
    text = delete_stopwords (jetons, stop_words)
    text = supprimer_punctuation (texte)
    jetons = tokenize (texte)

    Dictionnaire = Corporate.Dictionary ([Tokens])
    corpus = [dictionary.doc2bow (jetons)]
    LDA_MODEL = Models.ldamodel (Corpus, num_topics = 1, id2word = dictionnaire, passes = 50)
    sujets = lda_model.show_topics (num_words = num_words)
    pour le sujet dans les sujets:
        Retour STR (sujet)

Afin d'améliorer l'effet de segmentation des mots et l'extraction de mots clés, les stratégies suivantes sont recommandées:

1. Construire un vocabulaire personnalisé: collecter un vocabulaire professionnel lié au tourisme, construire un vocabulaire personnalisé et le charger dans Jieba, et améliorer la précision de la reconnaissance des termes dans le domaine du tourisme. Ceci est plus efficace que de compter sur un thésaurus commun.

2. Optimiser la base de données de vocabulaire de Stop Word: Utilisez une base de données de vocabulaire plus complète, ou créez une base de données de vocabulaire personnalisée basée sur les caractéristiques des commentaires pittoresques pour supprimer les mots interférents et améliorer la précision du modèle LDA. Envisagez d'utiliser le vocabulaire d'arrêt publié sur GitHub comme base et ajoutez-le ou supprimez-le en fonction de la situation réelle.

Grâce aux méthodes ci-dessus, la précision de la segmentation des mots jieba peut être considérablement améliorée, extraite ainsi plus efficacement des mots clés dans des commentaires pittoresques, et finalement obtenir un modèle de thème plus précis et une carte de cloud de mots. Le nombre de mots de sujet a également été ajusté dynamiquement dans le code pour éviter trop peu ou trop de mots de sujet affectant les résultats.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!