Verarbeiten Sie eine große CSV-Datei mit Parallelverarbeitung #eg39

Eine CSV-Datei speichert eine große Menge an Bestelldaten.

Verwenden Sie Java, um diese Datei zu verarbeiten: Suchen Sie nach Bestellungen, deren Beträge zwischen 3.000 und 5.000 liegen, gruppieren Sie sie nach Kunden, summieren Sie die Bestellbeträge und zählen Sie die Bestellungen.

Schreiben Sie die folgende SPL-Anweisung:

=file("d:/OrdersBig.csv").cursor@mtc(;8).select(Amount>=3000 && Amount<5000).groups(Client;sum(Amount):amt,count(1 ):cnt)

cursor()-Funktion analysiert eine große Datei, die nicht in den Speicher passt; Standardmäßig führt es die serielle Berechnung durch. Die Option @m ermöglicht den Multithread-Datenabruf. 8 ist die Anzahl der parallelen Threads; Die Option @t ermöglicht den Import der ersten Zeile als Spaltentitel. und die Option @c ermöglicht die Verwendung von Komma als Trennzeichen.

Lesen Sie So rufen Sie ein SPL-Skript in Java auf, um herauszufinden, wie Sie SPL in eine Java-Anwendung integrieren.

Dies ist eines der Probleme bei StackOverflow. Wenn Sie darauf klicken, sehen Sie, dass die herkömmliche Lösung ziemlich kompliziert ist, der SPL-Ansatz jedoch wirklich einfach und effizient ist.

SPL-Open-Source-Adresse

Das obige ist der detaillierte Inhalt vonVerarbeiten Sie eine große CSV-Datei mit Parallelverarbeitung #eg39. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!