异步 - PHP大量数据数据导入

现在有个需求，要把excel数据导入到数据表中，但数据量比较大，最多的时候一次要导入几十W条数据，导入的数据不是直接写db的，是走接口的，接口一次性最多处理1000条，耗时比较长，现在有个想法，想把这个做成任务式的导入，每次导入就是创建一个导入任务，把所有任务做成队列，依次完成导入任务，有什么好的方法和建议

回复内容：

现在有个需求，要把excel数据导入到数据表中，但数据量比较大，最多的时候一次要导入几十W条数据，导入的数据不是直接写db的，是走接口的，接口一次性最多处理1000条，耗时比较长，现在有个想法，想把这个做成任务式的导入，每次导入就是创建一个导入任务，把所有任务做成队列，依次完成导入任务，有什么好的方法和建议

你的想法很好，可惜PHP不适合做这种事情，建议用Java之类的语言来实现你的想法。

PHP有了任务，直接把任务参数提交到数据库。

Java在后台每100ms访问一次数据库，看看有没有任务，有就处理。

php默认30秒 ；你可以加个set_time_limit(99999999);
几十万数据 应该是不要1分钟就倒完了

Crontab + task list 做后台异步任务，很适合这种场景

1. mysql load data infile 将数据快速导入到临时表

2. php守护进程分批将数据往接口同步（或者crontab写定时任务）

php拼接成sql，直接mysql后台source导入

最好是分段导入，不要一次性导入