去重复

WBOY
WBOY원래의
2016-06-23 14:18:05930검색

有一文件里有十几万行数据。。。如何去重复。。。大小写一样的只能算一个。。


回复讨论(解决方案)

行的概念是?
如果100字符/行,20万行也就20~60M而已

file 读进来
array_unique 
然后写回去

如果觉得空间不够
就逐行读取求MD5并保存(如果平均行长小于32,占的内存还多些)
同时写入文件
遇到某行的MD5已存在了,这行就不写了

文件结构怎么样?贴一段出来,估计斑竹可以帮你解决。

感觉这玩意不用php,用linux的shell工具会更快

例如

cat file | sort -u  > file

如果你还要考虑大小写的问题的话,直接在上面的命令加 -f 既忽略大小写

cat file | sort -u -f > file

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.