PHP+MySQL实现海量数据导入导出的总结

雨瑶大大_2179

雨瑶大大_2179

2019-04-16

2905人浏览

转载

前段时间有个需求:将生产环境的部分数据转移到测试服务器进行测试。由于只需要导入特定账号的数据,我就想着将写个脚本,将数据组装成sql语句导出为sql文件,然后转移到测试服务器,导入到mysql中。想象是美好的,过程是痛苦的,下面总结下几点。

PHP脚本的处理

1、脚本的思路就是:查询特定账号数据,组装拼接成sql文本数据。这里要注意,对查询的值要进行过滤处理,因为有些字段是包含一些非法字符,比如:’(单引号),”(双引号),`(键盘左上角第二个),这些符号在拼接sql语句时,会因为找不到闭合的另一端,让值变了,导致sql语句拼接有问题,所以这部分字符要替换掉,我是用str_replace()函数将这些符号置为空。

2、我是使用is_numeri函数判断值是否是数字类型结构,是的话就加""(双引号),但是is_numeri有个问题,遇到有些数值有e字母的,它也是返回true,

 实锤了这样是有问题的,因为这样值没加""是不能insert到MySQL中的。

后来我同时加上is_float(),is_string()函数同时来判断这个值是否需要加入双引号。

3、由于导出的数据量比较多,我是分了4个PHP进程来跑,一个进程跑一万个用户数据,这样能够节省很多时间。但是要注意的是,存储的sql文本也是需要进行区分的,因为多个进程同时写一个文本文件可能会出现数据丢失(我是后面才发现,花了好多时间补回去数据)。

4、使用tar -xcvf 命令对sql文件进行压缩打包,一个7G的文件,可以压缩到700多M,压缩效果还是不错的。PHP视频教程 

导入数据到MySQL

1、由于数据量比较大,我也是分了几个进程跑数据。使用的是MySQL source 命令来导入这些大的sql文件

    mysql>source D:/www/sql/data.sql;

sql文件里面包含了use 数据库,这里就不需要use 数据库了。

通过source命令导入多个文件,可以新建一个sou.sql文件,里面存放下面的命令

例如:

    source c:/1.sql;
    source c:/2.sql;

这样就可以在一个source命令里面导入多个sql文件了。

Build MCP servers and clients for PHP applications with the official PHP SDK
Build MCP servers and clients for PHP applications with the official PHP SDK

使用官方Model Context Protocol PHP SDK将PHP应用程序功能暴露为MCP工具、资源和提示,用于代理工作流。

下载

期间也有一些问题:

出现:

        mysql Got a packet bigger than 'max_allowed_packet' bytes

查了下,是因为单表数据量较大,大体定位到mysql会对单表数据量较大的SQL做限制

解决:

更改max_allowed_packet包大小

方案一,临时修改:输入命令 set global max_allowed_packet = 大小; (注意,这里的大小只能填写字节。重启mysql服务后,配置将会失效!)

方案二,修改my.ini文件,在[mysqld]部分加入 max_allowed_packet=大小

2、由于source命令这种方式不能记录定位记录到错误信息,所以后来我改用了linux shell方式导入

如下:sql.sh

  #!/bin/bash
    p="d:backup/sql.sql" //绝对路径
    User='abc'
    Password='123'
     
    mysql -u $User -p$Password -e "source $f"  2>err1.txt;//输出错误到文件中,方便后面查询     
    echo 'OK!'

这样导入,可以找到一些错误的提示,方便后面解决问题。  mysql视频教程

php免费学习视频:立即使用
踏上前端学习之旅,开启通往精通之路!从前端基础到项目实战,循序渐进,一步一个脚印,迈向巅峰!

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

php mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

5183

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

1051

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1369

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

7321

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3923

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

7280

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

10261

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1390

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1212

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习