使用并行处理处理大型 csv 文件 #eg39

csv文件存储了大量的订单数据。

使用Java处理该文件：查找金额在3000到5000之间的订单，按客户分组，并对订单金额进行求和并统计订单。

编写以下 SPL 语句：

=file("d:/OrdersBig.csv").cursor@mtc(;8).select(金额>=3000 && 金额

cursor()函数解析一个无法放入内存的大文件；默认情况下，它执行串行计算。 @m选项启用多线程数据检索； 8是并行线程数； @t 选项允许导入第一行作为列标题； @c 选项允许使用逗号作为分隔符。

阅读如何在 Java 中调用 SPL 脚本，了解如何将 SPL 集成到 Java 应用程序中。

这是 StackOverflow 上的问题之一。你可以点击查看，传统的解决方案相当复杂，但 SPL 方法确实简单高效。

SPL开源地址

以上是使用并行处理处理大型 csv 文件 #eg39的详细内容。更多信息请关注PHP中文网其他相关文章！