並列処理で大きな CSV ファイルを処理する #eg39

CSV ファイルには大量の注文データが保存されます。

Java を使用してこのファイルを処理します。金額が 3,000 ～ 5,000 の注文を検索し、顧客ごとにグループ化し、注文金額を合計して注文をカウントします。

次の SPL ステートメントを作成します:

=file("d:/OrdersBig.csv").cursor@mtc(;8).select(金額>=3000 && 金額

cursor() 関数は、メモリに収まらない大きなファイルを解析します。デフォルトでは、シリアル計算が実行されます。 @m オプションはマルチスレッドのデータ取得を有効にします。 8 は並列スレッドの数です。 @t オプションを使用すると、最初の行を列タイトルとしてインポートできます。 @c オプションにより、区切り文字としてカンマを使用できるようになります。

SPL を Java アプリケーションに統合する方法については、「Java で SPL スクリプトを呼び出す方法」を参照してください。

これは StackOverflow の問題の 1 つです。これをクリックすると、従来のソリューションは非常に複雑ですが、SPL アプローチは非常にシンプルで効率的であることがわかります。

SPL オープンソース アドレス

以上が並列処理で大きな CSV ファイルを処理する #eg39の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。