初次涉及到大规模数据的查询问题。用比较简单的方法处理了一下。 问题描述:目前有一个40G的文件,这个文件的每一行的组成都是一样的, id 以及此id对应的数据内容。一共数据约1.3亿条。 要求,输入一个id,能够快速查找到此id所对应的内容。 简单的解决方法
初次涉及到大规模数据的查询问题。用比较简单的方法处理了一下。
问题描述:目前有一个40G的文件,这个文件的每一行的组成都是一样的, id 以及此id对应的数据内容。一共数据约1.3亿条。
要求,输入一个id,能够快速查找到此id所对应的内容。
简单的解决方法:先根据id,把数据分到1000个文件中去,即 id%1000 ,这种方法相对比较简单。
由于可能数据不是完全离散分布的,有的文件可能有80多M。所以当给定id时,就可以直接定位到它所在的文件。
使用php进行查找时,我们可以使用正则表达式。把文件读入到一个字符串中,然后使用正则表达式进行匹配即可。
正则为: "/".$id.".+\n/"

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

SublimeText3汉化版
中文版,非常好用

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。

EditPlus 中文破解版
体积小,语法高亮,不支持代码提示功能

DVWA
Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中