phpcurl을 사용하여 다중 프로세스 다운로드 파일 클래스를 구현하는 방법

일괄 다운로드 파일은 일반적으로 루프 방식을 사용하여 파일을 하나씩 다운로드합니다. 그러나 대역폭과 서버 성능이 허용되는 경우 여러 다운로드 프로세스를 사용하면 다운로드 효율성을 크게 향상시킬 수 있습니다. 이 기사에서는 여러 프로세스에서 파일을 동시에 다운로드하기 위해 컬을 사용하는 PHP의 다중 프로세스 요청 방법을 소개합니다.

원리:

curl의 일괄 처리 방법을 사용하여 여러 프로세스를 시작하여 일괄적으로 파일을 다운로드합니다.

주요 메소드:

curl_multi_init
새 cURL 배치 핸들을 반환합니다.

curl_multi_add_handle
컬 배치 세션에 별도의 컬 핸들을 추가합니다

curl_multi_exec
현재 하위 실행 중 cURL 핸들 연결

curl_multi_getcontent
CURLOPT_RETURNTRANSFER가 설정된 경우, 얻은 출력의 텍스트 스트림을 반환

curl_multi_remove_handle
curl 배치 핸들 리소스에서 핸들 리소스 제거

curl_multi_close
cURL 핸들 그룹 닫기

전체 코드는 다음과 같습니다.

BatchDownLoad.class.php

<?php/**
 * 多进程批量下载文件（使用php curl_multi_exec实现）
 * Date:    2017-07-16
 * Author:  fdipzone
 * Version: 1.0
 *
 * Func
 * public  download 下载处理
 * public  process  多进程下载
 * private to_log   将执行结果写入日志文件
 */class BatchDownLoad {

    // 下载文件设置
    private $download_config = array();    // 最大开启进程数量
    private $max_process_num = 10;    // 超时秒数
    private $timeout = 10;    // 日志文件
    private $logfile = null;    /**
     * 初始化
     * @param  Array  $download_config   下载的文件设置
     * @param  Int    $max_process_num   最大开启的进程数量
     * @param  Int    $timeout           超时秒数
     * @param  String $logfile           日志文件路径
     */
    public function __construct($download_config, $max_process_num=10, $timeout=10, $logfile=&#39;&#39;){
        $this->download_config = $download_config;        $this->max_process_num = $max_process_num;        $this->timeout = $timeout;        // 日志文件
        if($logfile){            $this->logfile = $logfile;
        }else{            $this->logfile = dirname(__FILE__).&#39;/batch_download_&#39;.date(&#39;Ymd&#39;).&#39;.log&#39;;
        }
    }    /**
     * 执行下载
     * @result Int
     */
    public function download(){

        // 已处理的数量
        $handle_num = 0;        // 未处理完成
        while(count($this->download_config)>0){            // 需要处理的大于最大进程数
            if(count($this->download_config)>$this->max_process_num){                $process_num = $this->max_process_num;            // 需要处理的小于最大进程数
            }else{                $process_num = count($this->download_config);
            }            // 抽取指定数量进行下载
            $tmp_download_config = array_splice($this->download_config, 0, $process_num);            // 执行下载
            $result = $this->process($tmp_download_config);            // 写入日志
            $this->to_log($tmp_download_config, $result);            // 记录已处理的数量
            $handle_num += count($result);

        }        return $handle_num;

    }    /**
     * 多进程下载文件
     * @param  Array $download_config 本次下载的设置
     * @return Array
     */
    public function process($download_config){

        // 文件资源
        $fp = array();        // curl会话
        $ch = array();        // 执行结果
        $result = array();        // 创建curl handle
        $mh = curl_multi_init();        // 循环设定数量
        foreach($download_config as $k=>$config){            $ch[$k] = curl_init();            $fp[$k] = fopen($config[1], &#39;a&#39;);

            curl_setopt($ch[$k], CURLOPT_URL, $config[0]);
            curl_setopt($ch[$k], CURLOPT_FILE, $fp[$k]);
            curl_setopt($ch[$k], CURLOPT_HEADER, 0);
            curl_setopt($ch[$k], CURLOPT_RETURNTRANSFER, true);
            curl_setopt($ch[$k], CURLOPT_USERAGENT, &#39;Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)&#39;);            // 加入处理
            curl_multi_add_handle($mh, $ch[$k]);
        }        $active = null;        do{            $mrc = curl_multi_exec($mh, $active);
        } while($active);        // 获取数据
        foreach($fp as $k=>$v){
            fwrite($v, curl_multi_getcontent($ch[$k]));
        }        // 关闭curl handle与文件资源
        foreach($download_config as $k=>$config){
            curl_multi_remove_handle($mh, $ch[$k]);
            fclose($fp[$k]);            // 检查是否下载成功
            if(file_exists($config[1])){                $result[$k] = true;
            }else{                $result[$k] = false;
            }
        }

        curl_multi_close($mh);        return $result;

    }    /**
     * 写入日志
     * @param Array $data 下载文件数据
     * @param Array $flag 下载文件状态数据
     */
    private function to_log($data, $flag){

        // 临时日志数据
        $tmp_log = &#39;&#39;;        foreach($data as $k=>$v){            $tmp_log .= &#39;[&#39;.date(&#39;Y-m-d H:i:s&#39;).&#39;] url:&#39;.$v[0].&#39; file:&#39;.$v[1].&#39; status:&#39;.$flag[$k].PHP_EOL;
        }        // 创建日志目录
        if(!is_dir(dirname($this->logfile))){
            mkdir(dirname($this->logfile), 0777, true);
        }        // 写入日志文件
        file_put_contents($this->logfile, $tmp_log, FILE_APPEND);
    }

}?>

demo.php

<?phprequire &#39;BatchDownLoad.class.php&#39;;$base_path = dirname(__FILE__).&#39;/photo&#39;;$download_config = array(    array(&#39;http://www.example.com/p1.jpg&#39;, $base_path.&#39;/p1.jpg&#39;),    array(&#39;http://www.example.com/p2.jpg&#39;, $base_path.&#39;/p2.jpg&#39;),    array(&#39;http://www.example.com/p3.jpg&#39;, $base_path.&#39;/p3.jpg&#39;),    array(&#39;http://www.example.com/p4.jpg&#39;, $base_path.&#39;/p4.jpg&#39;),    array(&#39;http://www.example.com/p5.jpg&#39;, $base_path.&#39;/p5.jpg&#39;),
);$obj = new BatchDownLoad($download_config, 2, 10);$handle_num = $obj->download();echo &#39;download num:&#39;.$handle_num.PHP_EOL;?>

실행 후 로그 출력

rr 리

벤 이 문서에서는 파일을 일괄적으로 다운로드하는 몇 가지 방법에 대해 설명합니다. 더 많은 관련 내용을 보려면 PHP 중국어 웹사이트를 참고하세요.

관련 추천:

php를 통해 로컬 및 원격 파일이 존재하는지 확인하는 방법

mysql 테이블 데이터의 행과 열을 변환하는 방법에 대한 설명

php 로그 클래스에 대한 설명

위 내용은 phpcurl을 사용하여 다중 프로세스 다운로드 파일 클래스를 구현하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!