<?php
<?php
set_time_limit(0);
$urls = array('http://www.baidu.com','http://www.php.cn',);
$handle = curl_multi_init();
$curls = array();
foreach ($urls as $k=>$url)
{
$curls[$k] = add_handle($handle, $url);
}
function add_handle(& $handle, $url)
{
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_HEADER, '');
curl_setopt($curl,CURLOPT_USERAGENT,"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_multi_add_handle($handle, $curl);
return $curl;
}这是一个php的curl多线程采集类，需要的朋友可以下载使用。
本站所有资源均由网友贡献或各大下载网站转载。请自行检查软件的完整性！本站所有资源仅供学习参考。请不要将它们用于商业目的。否则，一切后果由您负责！如有侵权，请联系我们删除。联系方式：admin@php.cn
相关文章
PHP爬虫类的并发与多线程处理技巧08Aug2023
PHP爬虫类的并发与多线程处理技巧引言：随着互联网的快速发展，大量的数据信息存储在各种网站上，获取这些数据已经成为很多业务场景下的需求。而爬虫作为一种自动化获取网络信息的工具，被广泛应用于数据采集、搜索引擎、舆情分析等领域。本文将介绍一种基于PHP的爬虫类的并发与多线程处理技巧，并通过代码示例来说明其实现方式。一、爬虫类的基本结构在实现爬虫类的并发与多线程处
如何使用Java中的并发集合类处理多线程环境下的数据共享问题？02Aug2023
如何使用Java中的并发集合类处理多线程环境下的数据共享问题？在多线程环境下，多个线程同时访问和修改共享数据可能会出现数据不一致的问题。为了解决这个问题，Java提供了一些并发集合类，如ConcurrentHashMap、ConcurrentLinkedQueue等，来帮助我们处理多线程的数据共享问题。本文将介绍如何使用Java中的并发集合类来进行线程安全的
ThinkPHP怎么导入第三方类库03Jun2023
第三方类库 第三方类库指除了ThinkPHP框架、应用项目类库之外的其他类库，一般由第三方系统或产品提供，如Smarty、Zend等系统的类库等。 前面使用自动加载或import方法导入的类库，ThinkPHP约定是以.class.php为后缀的，非这类的后缀，需要通过import的参数来控制。 但对第三类库，由于不会有此约定，其后缀只能认为是php。为了方便的引入其他框架和系统的类库，ThinkPHP特意提供了导入第三方类库的功能。第三方类库统一放置在ThinkPHP系统目录/
使用jquery.noConflict()解决jquery库与其他库冲突的问题20Jun2017
在使用jQuery开发的时候，可能还会使用到其他的JS库，比如Prototype，但多库共存时可能会发生冲突；若是发生冲突后，可以通过以下几种方案进行解决：一、 jQuery库在其他库之前导入，直接使用jQuery(callback)方法如：
linux依赖包是什么24Mar2023
linux依赖包是指“库文件”，大部分依赖包都是一些库文件，有动态库也有静态库；Linux系统和其他操作系统一样，都是模块化的设计，也就是说功能互相依靠，有些功能需要一些其他功能来支撑，这样可以提高代码的可重用性。
python怎么使用pip工具02Jul2019
安装python以后，如果需要安装一些其他的库，一般有两种办法，一种是自己手动去各个库的官网下载，自己安装；另一种方法是安装pip，使用pip可以方便安装各种python的库。安装pip后可以通过命令直接安装删除第三方库。
Hot tools Tags
Hot Tools
