So rufen Sie 20 Millionen Zeilen Textdaten ab

Ein TXT-Dokument enthält 20 Millionen Datenzeilen. Das Format der Daten ist wie folgt: .. ...
Acht Unsterbliche überqueren das Meer_Destiny

Wie kann ich schnell nach Redewendungen oder englischen Wörtern suchen? Bitte geben Sie mir den Algorithmus, danke Experten.


Antwortinhalt:

Ein TXT-Dokument enthält 20 Millionen Datenzeilen. Das Format der Daten ist wie folgt: .. ...

Acht Unsterbliche überqueren das Meer_Destiny

Wie kann ich schnell nach Redewendungen oder englischen Wörtern suchen? Bitte geben Sie mir den Algorithmus, danke Experten.

Ist Ihr Ziel, festzustellen, ob eine bestimmte Redewendung/ein bestimmtes Wort im Englischen existiert, oder zu zählen, wie oft diese Redewendung/dieses Wort vorkommt?
Ich denke, egal mit welcher Methode, die größte Möglichkeit besteht darin, den gesamten Text zu lesen. Wenn die Häufigkeit Ihres Abrufs sehr hoch ist, ist es am schnellsten, die 20 Millionen Daten in den Speicher zu legen und sie dann zu indizieren und zu speichern. Wenn es nur einmal ausgeführt wird, ist es am schnellsten, alle Dateien zu lesen (. Berechnen Sie die Anzahl der Vorkommen).


Erstellen Sie einen Solr und erstellen Sie einen Index, was die Sucheffizienz erheblich verbessert