搜索
首页后端开发php教程 PHP的惰性加载跟Iterator的使用

PHP的惰性加载和Iterator的使用

最近换了工作,改做建站软件了,我们公司建站软件的模板系统出了问题,提示内存超出最大值。内存的问题最简单的方法是修改php.ini提高memory_limit,但是随着模板数的不断增加,需要的内存又超出了上限,于是老大把这个问题让我看看,看我有什么好办法。

我拿到这个问题,首先是看懂原有的代码思路,分析问题产生的主要原因,出问题的页面很简单,就是一个模板显示页面,每页显示16个模板,做分页处理,而后台的处理却不简单,首先模板数据不是从数据库读取,而是从服务器端获取一个序列化字符串,取出的是所有的模板的信息数组,然后将信息缓存下来(以后先读缓存),然后数组中做过滤和分页操作,取出16个模板显示。

然后分析问题,很明显这里的问题是出在取出的是所有的模板的信息数组这个问题上,模板的数量是庞大的,但是其实每页需要的只有16个而已,可是这里却实现全部加入了内存。

问题时找到了,那怎么解决呢?于是我问了以前的员工,听他们的意见。他们提供了很多意见,有把模板放到数据库处理,有将分页等操作全部放到我们的服务器处理等,但是方案都需要对我们后台服务器做大的处理改进,而且改动的东西太大,引入的问题就多了,怎么办?

1. 惰性加载

后来我想,既然问题出在序列化取出了所有的数据,如果我们能在文件中,只取出我们需要的数据就好了,由于我有java的经验,我首先想到的是XML SAX 处理方式,但是我对PHP中XML处理不熟,不得要领。

不过却给了我正确的思路,很多的PHP内存过大的问题,是由于PHP开发者为了方便,将所有需要的数据预先加载到内存(array),然后通过处理,这样导致的问题是所需的内存远远超过了其实际的所需,导致了内存过量的问题。解决方法就是惰性加载,让数据在使用时才加载到内存中处理。

这里的问题很明显是序列化的问题,PHP的serialize机制是一个预先加载的策略,不支持惰性加载。需要找一个支持惰性加载的序列化方式,能够每次只读取一个模板的内容处理,很快CSV格式就出现了,CSV就支持这种以行为单位的读取方式,而对于原有的系统机制不需要有大的改动,于是就要对原有的系统进行csv序列化改变。

2.Iterator接口使用

csv读取使用while来遍历,而原来的系统使用数组来遍历,由于系统代码过滤的条件多,涉及很多代码的修改,而以前的数组使用key=>value对实现,而csv只能使用0,1,2数字访问。为了尽可能减少原有的代码修改,我们首先对csv做了处理,让它的第一行array的key值,从第二行开始显示模板实际数值value,位置和key一一对应,这样也满足了以后的扩展性。

为了和原代码的foreach风格尽量吻合,我们使用了Iterator封装了csv的操作,并在里面完成了csv的key->value的合并。这样,对于代码的迁移几乎可以忽略不计了,更大的好处是csv文件的大小比序列化后的文件大小下了很多,可能有人担心性能问题。

经过测试我们现有模板2000条,速度没有超过1秒,未来模板数要增加到20000条,遍历速度没有超过2s,也在可以接受的范围。于是这个问题就解决了。

最近,我们的自制简单的ORM框架出现了内存超过最大值,原因也是将所有数据库的值放入内存数组,于是我一手拿着惰性加载的矛,一手拿着Iterator的盾,又一次进入了解决问题之战争中。

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
继续使用PHP:耐力的原因继续使用PHP:耐力的原因Apr 19, 2025 am 12:23 AM

PHP仍然流行的原因是其易用性、灵活性和强大的生态系统。1)易用性和简单语法使其成为初学者的首选。2)与web开发紧密结合,处理HTTP请求和数据库交互出色。3)庞大的生态系统提供了丰富的工具和库。4)活跃的社区和开源性质使其适应新需求和技术趋势。

PHP和Python:探索他们的相似性和差异PHP和Python:探索他们的相似性和差异Apr 19, 2025 am 12:21 AM

PHP和Python都是高层次的编程语言,广泛应用于Web开发、数据处理和自动化任务。1.PHP常用于构建动态网站和内容管理系统,而Python常用于构建Web框架和数据科学。2.PHP使用echo输出内容,Python使用print。3.两者都支持面向对象编程,但语法和关键字不同。4.PHP支持弱类型转换,Python则更严格。5.PHP性能优化包括使用OPcache和异步编程,Python则使用cProfile和异步编程。

PHP和Python:解释了不同的范例PHP和Python:解释了不同的范例Apr 18, 2025 am 12:26 AM

PHP主要是过程式编程,但也支持面向对象编程(OOP);Python支持多种范式,包括OOP、函数式和过程式编程。PHP适合web开发,Python适用于多种应用,如数据分析和机器学习。

PHP和Python:深入了解他们的历史PHP和Python:深入了解他们的历史Apr 18, 2025 am 12:25 AM

PHP起源于1994年,由RasmusLerdorf开发,最初用于跟踪网站访问者,逐渐演变为服务器端脚本语言,广泛应用于网页开发。Python由GuidovanRossum于1980年代末开发,1991年首次发布,强调代码可读性和简洁性,适用于科学计算、数据分析等领域。

在PHP和Python之间进行选择:指南在PHP和Python之间进行选择:指南Apr 18, 2025 am 12:24 AM

PHP适合网页开发和快速原型开发,Python适用于数据科学和机器学习。1.PHP用于动态网页开发,语法简单,适合快速开发。2.Python语法简洁,适用于多领域,库生态系统强大。

PHP和框架:现代化语言PHP和框架:现代化语言Apr 18, 2025 am 12:14 AM

PHP在现代化进程中仍然重要,因为它支持大量网站和应用,并通过框架适应开发需求。1.PHP7提升了性能并引入了新功能。2.现代框架如Laravel、Symfony和CodeIgniter简化开发,提高代码质量。3.性能优化和最佳实践进一步提升应用效率。

PHP的影响:网络开发及以后PHP的影响:网络开发及以后Apr 18, 2025 am 12:10 AM

PHPhassignificantlyimpactedwebdevelopmentandextendsbeyondit.1)ItpowersmajorplatformslikeWordPressandexcelsindatabaseinteractions.2)PHP'sadaptabilityallowsittoscaleforlargeapplicationsusingframeworkslikeLaravel.3)Beyondweb,PHPisusedincommand-linescrip

PHP类型提示如何起作用,包括标量类型,返回类型,联合类型和无效类型?PHP类型提示如何起作用,包括标量类型,返回类型,联合类型和无效类型?Apr 17, 2025 am 12:25 AM

PHP类型提示提升代码质量和可读性。1)标量类型提示:自PHP7.0起,允许在函数参数中指定基本数据类型,如int、float等。2)返回类型提示:确保函数返回值类型的一致性。3)联合类型提示:自PHP8.0起,允许在函数参数或返回值中指定多个类型。4)可空类型提示:允许包含null值,处理可能返回空值的函数。

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SecLists

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境