初次涉及到大规模数据的查询问题。用比较简单的方法处理了一下。 问题描述:目前有一个40G的文件,这个文件的每一行的组成都是一样的, id 以及此id对应的数据内容。一共数据约1.3亿条。 要求,输入一个id,能够快速查找到此id所对应的内容。 简单的解决方法
初次涉及到大规模数据的查询问题。用比较简单的方法处理了一下。
问题描述:目前有一个40G的文件,这个文件的每一行的组成都是一样的, id 以及此id对应的数据内容。一共数据约1.3亿条。
要求,输入一个id,能够快速查找到此id所对应的内容。
简单的解决方法:先根据id,把数据分到1000个文件中去,即 id%1000 ,这种方法相对比较简单。
由于可能数据不是完全离散分布的,有的文件可能有80多M。所以当给定id时,就可以直接定位到它所在的文件。
使用php进行查找时,我们可以使用正则表达式。把文件读入到一个字符串中,然后使用正则表达式进行匹配即可。
正则为: "/".$id.".+\n/"

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

MantisBT
Mantis は、製品の欠陥追跡を支援するために設計された、導入が簡単な Web ベースの欠陥追跡ツールです。 PHP、MySQL、Web サーバーが必要です。デモおよびホスティング サービスをチェックしてください。

AtomエディタMac版ダウンロード
最も人気のあるオープンソースエディター

SublimeText3 Linux 新バージョン
SublimeText3 Linux 最新バージョン

DVWA
Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。
