业务场景:从api接口获取数据,插入到数据库中,这个过程大概几个小时,我想用多线程技术来改造,但不知如何下手。其他方式也行。
补充一句:对php未来方向不明,java有很多重量级东西,如hadoop,spark,storm等等,php何去何从?
回复内容:
其实,你这里真是的需求,只是希望在Web这边获取一种方式,来执行一个长达数小时的“异步”任务。就PHP而言,可以用2种方式来做:
(1)在PHP里使用shell_exec的函数,以shell的方式,启动一个独立的PHP脚本执行。这种方式,其实相当于在Web服务器处理过程中,独立起了一个shell进程处理你的任务。这里,需要特别注意的是shell_exec的服务器安全,注意校验参数,小心避免被带入shell命令中。这个是比较容易实现的方式。
(2)使用PHP实现一个Server,监听一个端口,为Web端提供服务。这里的实现方式有很多,通常要配合扩展,例如原生的pthread(多线程),开源扩展swoole等等。
直接在web程序里使用多线程,是不恰当的,web请求通常有时间限制,例如timeout默认是30秒。你如何保证,在线程任务执行完之前,它的父进程仍然在工作?
swoole
好了 Swoole: PHP的异步、并行、分布式扩展
,解决你的问题
可以使用php的命令行模式运行,只不过这不是多线程,而是多进程。
更复杂的方式,可以使用gearman。
多进程一样的可以做到这个效果。
php 本身不支持多线程,不过有些扩展可以帮你做到
小菜说一下见解。
这个场景并不一定用多线程来解决吧。用多进程较稳定。
然后业务场景中。插入到数据库中。是哪种数据库呢。不会是因为写锁的问题吗?
PHP用进程或者线程或者异步等等都是可以的。很多大牛写的扩展可以帮助你做到。至于业务场景下的性能得自己去测试了。
至于PHP的话,你可以多去了解别人所说的快和慢指的是什么,7出来了的改进。同时PHP主要是web开发脚本。比较的意义在哪里要懂得。
还有大牛一般并不只会一种语言吧。或者说的是不拘泥于一种语言。
all in interesting.
说的不好的地方望巨巨们指点。
-------------------------------------
阅读完最新答案,补充一句,其实我也想说‘异步’解决就好。2333
多线程可以用扩展,php_pthreads,优点支持WIN和lin双平台,缺点php必须运行在线程安全模式下,CGI方式运行就不要想了。
简单异步,可以考虑popen(),fsockopen(),cURL;
复杂一些的,可以考虑PCNTL/pthreads扩展吧;
更复杂的,考虑消息队列 -- 后台服务吧;
还有swoole!
首先定位程序的瓶颈,肯定是在mysql上。并行能否解决这个问题还要看你具体的存储结构。
解决方案:
1、批量写mysql,要比你并行写快很多
2、使用php多进程框架,GitHub - huyanping/simple-fork-php: simple multi process manager based on pcntl
提供像java线程一样的接口
Kenyataan:Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn