Home >Backend Development >PHP Tutorial >去重复
去重复
- WBOYOriginal
- 2016-06-23 14:18:05930browse
有一文件里有十几万行数据。。。如何去重复。。。大小写一样的只能算一个。。
回复讨论(解决方案)
行的概念是？
如果100字符/行，20万行也就20～60M而已
file 读进来
array_unique
然后写回去
如果觉得空间不够
就逐行读取求MD5并保存（如果平均行长小于32，占的内存还多些）
同时写入文件
遇到某行的MD5已存在了，这行就不写了
文件结构怎么样？贴一段出来，估计斑竹可以帮你解决。
感觉这玩意不用php，用linux的shell工具会更快
例如
cat file | sort -u > file
如果你还要考虑大小写的问题的话，直接在上面的命令加 -f 既忽略大小写
cat file | sort -u -f > file
Statement：
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
Previous article：为什么PHP站内搜索只能搜索英文和字母，不能搜索中文？Next article：请教高人：两个php平台之间的数据导入导出