search
HomeBackend DevelopmentPHP Tutorialphp笔记之:有规律大文件的读取与写入的分析_PHP

这几天在做一个东西.研究PHP读取行数较多的文件(大概上百万行).考虑到效率问题.进行了简单的研究.总结如下

第一条.file()函数的效率问题.

file()函数的效率很底下 如果是有规律的文件.比如每行一条相应数据.那么尽量不要是用file()函数

可以使用file_get_contents()然后用explode切割.这样效率会快三分之一

举个例子:

文件样式如下:

11111\n

22222\n

33333\n

44444\n

55555\n

.....\n

nnnnnnnnnnn\n

如果用file($file)读入的话.耗时很长.

可以用如下方法explode("\n",file_get_contents($file));效率会快很多.

第二条,数组的遍历方式.

数据已经被读入数组了.下面就是遍历了.

我所需要的是确定数组中有无一个值的存在,比如说44444是否在数组中.首先想到的是in_array()

不过实验了下发现效率很低下.于是参考别人的代码想到一个办法.把数组翻转过来.变成所有值都为1.原来的值变成了索引.那么只要我在if里写($arr[索引]==1)去判断.果然效率高出很多.

在数组的遍历过程中.如果数组个头非常大,并且数组中的数据并不是全能用到的话,最好把用来遍历的数组抽出来.这样会提高很多效率.

第三条,数组的存储.

把计算过后的数据保存起来.存在一个文件中.考虑了三种方法.一种是直接写成php文件.一种是serialize,一种是json串.

第一种方式

直接写入文件保存成PHP

需要的时候直接require进来.

第二种方式.把变量serialize然后file_put_contents()进入文件.使用的时候unserialize就ok.

第三种方式和第二种类似.只不过写成了json串.

经过测试.发现第二种效率最高.第三种其次.和第二种效率不相上下.第一种最慢.和我预想的差距很大.真是大跌眼镜.

Statement
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
如何使用pandas正确读取txt文件如何使用pandas正确读取txt文件Jan 19, 2024 am 08:39 AM

如何使用pandas正确读取txt文件,需要具体代码示例Pandas是一个广泛使用的Python数据分析库,它可以用于处理各种各样的数据类型,包括CSV文件、Excel文件、SQL数据库等。同时,它也可以用于读取文本文件,例如txt文件。但是,在读取txt文件时,我们有时会遇到一些问题,例如编码问题、分隔符问题等。本文将介绍如何使用pandas正确读取txt

使用pandas读取txt文件的实用技巧使用pandas读取txt文件的实用技巧Jan 19, 2024 am 09:49 AM

使用pandas读取txt文件的实用技巧,需要具体代码示例在数据分析和数据处理中,txt文件是一种常见的数据格式。使用pandas读取txt文件可以快速、方便地进行数据处理。本文将介绍几种实用的技巧,以帮助你更好的使用pandas读取txt文件,并配以具体的代码示例。读取带有分隔符的txt文件使用pandas读取带有分隔符的txt文件时,可以使用read_c

Java 中使用 OpenCSV 读取和写入 CSV 文件的示例Java 中使用 OpenCSV 读取和写入 CSV 文件的示例Dec 20, 2023 pm 01:39 PM

Java中使用OpenCSV读取和写入CSV文件的示例CSV(Comma-SeparatedValues)指的是以逗号分隔的数值,是一种常见的数据存储格式。在Java中,OpenCSV是一个常用的工具库,用于读取和写入CSV文件。本文将介绍如何使用OpenCSV来实现读取和写入CSV文件的示例。引入OpenCSV库首先,需要引入OpenCSV库到

Pandas读取网页数据的实用方法Pandas读取网页数据的实用方法Jan 04, 2024 am 11:35 AM

Pandas读取网页数据的实用方法,需要具体代码示例在数据分析和处理过程中,我们经常需要从网页中获取数据。而Pandas作为一种强大的数据处理工具,提供了方便的方法来读取和处理网页数据。本文将介绍几种常用的Pandas读取网页数据的实用方法,并附上具体的代码示例。方法一:使用read_html()函数Pandas的read_html()函数可以直接从网页中读

Pandas使用教程:读取JSON文件的快速入门Pandas使用教程:读取JSON文件的快速入门Jan 13, 2024 am 10:15 AM

快速入门:Pandas读取JSON文件的方法,需要具体代码示例引言:在数据分析和数据科学领域,Pandas是一个重要的Python库之一。它提供了丰富的功能和灵活的数据结构,能够方便地对各种数据进行处理和分析。在实际应用中,我们经常会遇到需要读取JSON文件的情况。本文将介绍如何使用Pandas来读取JSON文件,并附上具体的代码示例。一、Pandas的安装

PHP读取Excel文件方法及常见问题解答PHP读取Excel文件方法及常见问题解答Jun 09, 2023 am 11:41 AM

PHP读取Excel文件方法及常见问题解答Excel是一种非常普遍的电子表格文件格式,很多业务和数据都存放在Excel文件中。在开发过程中,如果需要将Excel文件中的数据导入系统中,就需要使用PHP读取Excel文件。本文将介绍PHP读取Excel文件的方法及常见问题解答。一、PHP读取Excel文件方法1.使用PHPExcel类库PHPExcel是一个P

Golang文件读取操作:快速读取大文件的技巧Golang文件读取操作:快速读取大文件的技巧Jan 19, 2024 am 08:33 AM

Golang文件读取操作:快速读取大文件的技巧,需要具体代码示例在Golang程序设计中,文件读取是一个非常常见的操作。但当需要读取大文件时,通常是一件比较耗费时间和资源的操作。因此,如何快速读取大文件是一个非常值得探讨的话题。本文将介绍如何利用Golang的特性和一些技巧来快速读取大文件,并提供具体的代码示例。利用bufio读取文件在Golang中,文件读

PHP文件处理入门:读取与写入的步骤指引PHP文件处理入门:读取与写入的步骤指引Sep 06, 2023 am 09:58 AM

PHP文件处理入门:读取与写入的步骤指引在Web开发中,文件处理是一项常见的任务,无论是读取用户上传的文件,还是将结果写入文件供后续使用,理解如何在PHP中进行文件处理都是至关重要的。本文将提供一个简单的指引,介绍PHP中文件的读取和写入的基本步骤,并附上代码示例供参考。文件读取在PHP中,可以使用fopen()函数打开一个文件,返回一个文件资源(file

See all articles

Hot AI Tools

Undresser.AI Undress

Undresser.AI Undress

AI-powered app for creating realistic nude photos

AI Clothes Remover

AI Clothes Remover

Online AI tool for removing clothes from photos.

Undress AI Tool

Undress AI Tool

Undress images for free

Clothoff.io

Clothoff.io

AI clothes remover

AI Hentai Generator

AI Hentai Generator

Generate AI Hentai for free.

Hot Article

Hot Tools

SublimeText3 Linux new version

SublimeText3 Linux new version

SublimeText3 Linux latest version

WebStorm Mac version

WebStorm Mac version

Useful JavaScript development tools

Dreamweaver CS6

Dreamweaver CS6

Visual web development tools

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

Integrate Eclipse with SAP NetWeaver application server.

SublimeText3 Chinese version

SublimeText3 Chinese version

Chinese version, very easy to use