Heim >Backend-Entwicklung >Python-Tutorial >Wie können wir Text ohne Leerzeichen in eine Liste von Wörtern aufteilen?
Dieser Artikel befasst sich mit der Komplexität der effizienten Aufteilung einer Textzeichenfolge ohne Leerzeichen in eine aussagekräftige Liste von Wörtern. Wir erforschen einen Algorithmus, der die Worthäufigkeit nutzt, um genaue Ergebnisse für reale Daten zu erzielen.
Der Algorithmus geht davon aus, dass Wörter unabhängig voneinander verteilt sind und dem Zipf-Gesetz folgen. Dies impliziert, dass die Wahrscheinlichkeit, in einem Wörterbuch auf ein Wort mit Rang „n“ zu stoßen, ungefähr 1/(n log N) beträgt, wobei N die Gesamtzahl der Wörter im Wörterbuch darstellt.
Um auf die Position von zu schließen In Räumen setzen wir dynamische Programmierung ein. Wir definieren eine Kostenfunktion, die den Logarithmus des Kehrwerts der Wortwahrscheinlichkeit nutzt. Der optimale Satz maximiert das Produkt der einzelnen Wortkosten, das mithilfe dynamischer Programmierung effizient berechnet werden kann.
Der folgende Python-Code implementiert den Algorithmus:
<code class="python">import math words = open("words-by-frequency.txt").read().split() wordcost = dict((k, log((i+1)*log(len(words)))) for i,k in enumerate(words)) maxword = max(len(x) for x in words) def infer_spaces(s): cost = [0] for i in range(1,len(s)+1): c,k = best_match(i) cost.append(c) out = [] i = len(s) while i>0: c,k = best_match(i) out.append(s[i-k:i]) i -= k return " ".join(reversed(out))</code>
Mit dem bereitgestellten Code können wir eine Textzeichenfolge ohne Leerzeichen aufteilen und aussagekräftige Wörter erhalten:
s = 'thumbgreenappleactiveassignmentweeklymetaphor' print(infer_spaces(s))
Der Algorithmus leitet effektiv die Position von Leerzeichen ab, Dies führt zu einer genauen Worterkennung sowohl für kurze als auch für lange Textzeichenfolgen. Auch ohne explizite Trennzeichen behält die Ausgabe ein hohes Maß an Kohärenz und Lesbarkeit bei.
Der Algorithmus bietet mehrere Vorteile:
Das obige ist der detaillierte Inhalt vonWie können wir Text ohne Leerzeichen in eine Liste von Wörtern aufteilen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!