php 将15W的数据写入文件-php教程-PHP中文网

首页

后端开发

php教程

php 将15W的数据写入文件

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 06, 2016 pm 08:35 PM

php

程序的逻辑
1,通过ftp下载300MB左右的文件数据大概是15W条左右
2,过滤字段,重新写入数据库中
①,先将数据写到文件中
②,mysql使用load_data_infile 来插入数据

现在写入文件的程序逻辑:

读取一行数据
php 将15W的数据写入文件
然后过滤字段,加入数组到了1000条写入数据库

php 将15W的数据写入文件

写入数据有点慢....有什么能加快速度吗
补充下:整条数据有234个字段

回复内容：

程序的逻辑
1,通过ftp下载300MB左右的文件数据大概是15W条左右
2,过滤字段,重新写入数据库中
①,先将数据写到文件中
②,mysql使用load_data_infile 来插入数据

现在写入文件的程序逻辑:

读取一行数据
php 将15W的数据写入文件
然后过滤字段,加入数组到了1000条写入数据库

php 将15W的数据写入文件

写入数据有点慢....有什么能加快速度吗
补充下:整条数据有234个字段

量也不大，写文件的部分没有代码，看不出来什么问题，猜一下吧: 把 fopen 拿到循环外。

写数据库的话，插入的时候用事务。

插入的时候使用存储过程。

把文件拆分成N个小的文件，开N个php进程跑，不就快了？或者直接上java之类的支持多线程的程序跑。

为啥要在循环里面iconv一下？直接放到外面的转编码不行吗

话说，15W条数据，你组合成sql， 1W条一次的写入，写就几秒钟的时间，何必纠结搞什么文件再load_data_infile 呢？

按行操作实在太小气了，如果文件大小有上限的话，干脆用file_get_contents 和 file_put_contents来读写，效率会高很多。

声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

哪些常见问题会导致PHP会话失败？Apr 25, 2025 am 12:16 AM

PHPSession失效的原因包括配置错误、Cookie问题和Session过期。1.配置错误：检查并设置正确的session.save_path。2.Cookie问题：确保Cookie设置正确。3.Session过期：调整session.gc_maxlifetime值以延长会话时间。

您如何在PHP中调试与会话相关的问题？Apr 25, 2025 am 12:12 AM

在PHP中调试会话问题的方法包括：1.检查会话是否正确启动；2.验证会话ID的传递；3.检查会话数据的存储和读取；4.查看服务器配置。通过输出会话ID和数据、查看会话文件内容等方法，可以有效诊断和解决会话相关的问题。

如果session_start（）被多次调用会发生什么？Apr 25, 2025 am 12:06 AM

多次调用session_start()会导致警告信息和可能的数据覆盖。1)PHP会发出警告，提示session已启动。2)可能导致session数据意外覆盖。3)使用session_status()检查session状态，避免重复调用。

您如何在PHP中配置会话寿命？Apr 25, 2025 am 12:05 AM

在PHP中配置会话生命周期可以通过设置session.gc_maxlifetime和session.cookie_lifetime来实现。1)session.gc_maxlifetime控制服务器端会话数据的存活时间，2)session.cookie_lifetime控制客户端cookie的生命周期，设置为0时cookie在浏览器关闭时过期。

使用数据库存储会话的优点是什么？Apr 24, 2025 am 12:16 AM

使用数据库存储会话的主要优势包括持久性、可扩展性和安全性。1.持久性：即使服务器重启，会话数据也能保持不变。2.可扩展性：适用于分布式系统，确保会话数据在多服务器间同步。3.安全性：数据库提供加密存储，保护敏感信息。

您如何在PHP中实现自定义会话处理？Apr 24, 2025 am 12:16 AM

在PHP中实现自定义会话处理可以通过实现SessionHandlerInterface接口来完成。具体步骤包括：1)创建实现SessionHandlerInterface的类，如CustomSessionHandler；2)重写接口中的方法（如open,close,read,write,destroy,gc）来定义会话数据的生命周期和存储方式；3)在PHP脚本中注册自定义会话处理器并启动会话。这样可以将数据存储在MySQL、Redis等介质中，提升性能、安全性和可扩展性。

什么是会话ID？Apr 24, 2025 am 12:13 AM

SessionID是网络应用程序中用来跟踪用户会话状态的机制。1.它是一个随机生成的字符串，用于在用户与服务器之间的多次交互中保持用户的身份信息。2.服务器生成并通过cookie或URL参数发送给客户端，帮助在用户的多次请求中识别和关联这些请求。3.生成通常使用随机算法保证唯一性和不可预测性。4.在实际开发中，可以使用内存数据库如Redis来存储session数据，提升性能和安全性。