병렬 처리로 대용량 csv 파일 처리 #eg39

CSV 파일에는 대량 주문 데이터가 저장됩니다.

Java를 사용하여 이 파일을 처리합니다. 금액이 3,000~5,000 사이인 주문을 찾아 고객별로 그룹화하고 주문 금액을 합산하고 주문을 계산합니다.

다음 SPL 문을 작성하세요.

=file("d:/OrdersBig.csv").cursor@mtc(;8).select(Amount>=3000 && Amount<5000).groups(Client;sum(Amount):amt,count(1 ):cnt)

cursor() 함수는 메모리에 맞지 않는 대용량 파일을 구문 분석합니다. 기본적으로 직렬 계산을 수행합니다. @m 옵션을 사용하면 다중 스레드 데이터 검색이 가능합니다. 8은 병렬 스레드의 수입니다. @t 옵션을 사용하면 첫 번째 줄을 열 제목으로 가져올 수 있습니다. @c 옵션을 사용하면 쉼표를 구분 기호로 사용할 수 있습니다.

SPL을 Java 애플리케이션에 통합하는 방법을 알아보려면 Java에서 SPL 스크립트를 호출하는 방법을 읽어보세요.

이것은 StackOverflow의 문제 중 하나입니다. 클릭하시면 기존 솔루션이 상당히 복잡하다는 것을 알 수 있지만 SPL 접근 방식은 정말 간단하고 효율적입니다.

SPL 오픈소스 주소

위 내용은 병렬 처리로 대용량 csv 파일 처리 #eg39의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!