대용량 파일 중복 제거를 위해 PHP와 Redis의 결합

이 기사의 주요 내용은 대용량 파일 중복 제거를 달성하기 위해 주문한 Redis 컬렉션과 함께 PHP 다중 프로세스를 사용하는 것입니다.

1. 예를 들어 대용량 파일의 경우 내 파일은

-rw-r--r-- 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt

2입니다. Split 사용 명령은 10개의 작은 파일로 잘립니다

split -b 1000m 2018-12-awk-uniq.txt -b 바이트 단위로 자르고, m 및 k 단위를 지원합니다

3. 10개의 PHP 프로세스를 사용하여 다음을 수행합니다. read 파일은 Redis의 정렬된 컬렉션 구조에 삽입됩니다. 중복된 항목은 삽입할 수 없으므로 중복 제거 역할을 할 수 있습니다. 요소 수를 가져옵니다. 100000부터 시작하고 끝나는 등 특정 범위의 요소를 가져옵니다. at 100100

zrange emails 100000 100100 WITHSCORES

PHP를 더 효율적으로 배우고 싶다면 PHP 중국어 웹사이트의

PHP 비디오 튜토리얼에 주목하세요.

위 내용은 대용량 파일 중복 제거를 위해 PHP와 Redis의 결합의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!