Wie kann man den Effekt der Jieba -Wortsegmentierung verbessern, um Keywords in malerischen Spot -Kommentaren besser zu extrahieren?

Strategien zur Verbesserung der Segmentierung von Jieba Word und szenischer Spot -Kommentar Keyword -Extraktion

Viele Menschen verwenden Jiebeba für die chinesische Wortsegmentierung und kombinieren LDA -Modelle, um die Schlüsselwörter der malerischen Spot -Kommentare zu extrahieren, aber die Wortsegmentierung beeinflusst häufig die Genauigkeit des Endergebnisses. Wenn Sie beispielsweise die Jieba -Word -Segmentierung direkt verwenden und dann die LDA -Modellierung durchführen, können die Schlüsselwörter für das extrahierte Thema Word -Segmentierungsfehler haben.

Das folgende Codebeispiel zeigt dieses Problem:

 # Laden Sie die chinesischen Stopp -Wort stop_words = set (stopwords.words ('chinesisch'))
BroadcastVar = Spark.sparkContext.Broadcast (STOP_WORDS)

# Chinese Text Partizip Def Tokenize (Text):
    Rückgabeliste (Jieba.cut (Text))

# Löschen Sie das chinesische Stopp Word Def Delete_Stopwords (Tokens, Stop_Words):
    filtered_words = [Wort für Wort in Tokens Wenn Word nicht in Stop_Words]
    filtered_text = '' .join (filtered_words)
    Rückgabe filtered_text

# Interpunktion entfernen und spezifische Zeichen Def REMETE_PUNKTION (input_string):
    Interpunktion = String.Pointuation "!? ｡.》#ｅ%&＇ () ＊＋, －/:; ＜＝＞＿｜｝］＿｟｠ｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏ
    Übersetzer = Str.Maketrans ('', '', Interpunktion)
    no_punct = input_string.translate (Übersetzer)
    Rückgabe no_punct

Def thematic_focus (Text):
    von Gensim Import Corpora, Modelle
    num_words = min (len (text) // 50 3, 10) # Passen Sie die Anzahl der Themenwörter tokens = tokenize (Text) dynamisch an
    STOP_WORDSS = SURBURTVAR.VALUE
    text = delete_stopwords (tokens, stop_words)
    text = remy_punctuation (text)
    Tokens = Tokenize (Text)

    Dictionary = Corporate.Dictionary ([Token])
    corpus = [Dictionary.doc2Bow (Tokens)]]
    lda_model = Models
    topics = lda_model.show_topics (num_words = num_words)
    Für Themen in Themen:
        Rückgabe str (Thema)

Um die Wortsegmentierungseffekte und die Keyword -Extraktion zu verbessern, werden die folgenden Strategien empfohlen:

1. Aufbau eines individuellen Wortschatzes: Sammeln Sie professionelles Vokabular im Zusammenhang mit dem Tourismus, bauen Sie ein individuelles Vokabular auf und laden Sie es in Jieba und verbessern Sie die Genauigkeit der Anerkennung von Begriffen im Tourismusbereich. Dies ist effektiver, als sich auf einen gemeinsamen Thesaurus zu verlassen.

2. Optimieren Sie die Vokabulardatenbank von Stopp Word: Verwenden Sie eine umfassendere Vokabulardatenbank oder erstellen Sie eine benutzerdefinierte Vokabulardatenbank basierend auf den Eigenschaften malerischer Spot -Kommentare, um störende Wörter zu entfernen, und verbessern Sie die Genauigkeit des LDA -Modells. Erwägen Sie, das in GitHub veröffentlichte Abbruchvokabular als Grundlage zu verwenden und es nach der tatsächlichen Situation hinzuzufügen oder zu löschen.

Durch die obigen Methoden kann die Genauigkeit der Jieba -Wortsegmentierung erheblich verbessert werden, wodurch Schlüsselwörter in malerischen Spot -Kommentaren effektiver extrahiert werden und letztendlich ein genaueres Themenmodell und eine Word -Cloud -Karte erhalten werden. Die Anzahl der Themenwörter wurde im Code auch dynamisch angepasst, um zu wenige oder zu viele Themenwörter zu vermeiden, die die Ergebnisse beeinflussen.

Das obige ist der detaillierte Inhalt vonWie kann man den Effekt der Jieba -Wortsegmentierung verbessern, um Keywords in malerischen Spot -Kommentaren besser zu extrahieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!