So verwenden Sie phpcurl, um Multiprozess-Download-Dateiklassen zu implementieren

Batch-Download-Dateien verwenden im Allgemeinen eine Schleifenmethode, um Dateien einzeln herunterzuladen. Wenn jedoch Bandbreite und Serverleistung dies zulassen, kann die Verwendung mehrerer Prozesse zum Herunterladen die Download-Effizienz erheblich verbessern. In diesem Artikel wird die Multiprozess-Anforderungsmethode von PHP vorgestellt, die Curl verwendet, um das gleichzeitige Herunterladen von Dateien durch mehrere Prozesse zu erreichen.

Prinzip:

Verwenden Sie die Stapelverarbeitungsmethode von Curl, um mehrere Prozesse zu starten, um Dateien stapelweise herunterzuladen.

Hauptmethode:

curl_multi_init
Gibt ein neues cURL-Batch-Handle zurück

curl_multi_add_handle
Einen separaten Curl-Handle zur Curl-Batch-Sitzung hinzufügen

curl_multi_exec
Führen Sie das aktuelle cURL-Handle A aus Unterverbindung von

curl_multi_getcontent
Wenn CURLOPT_RETURNTRANSFER gesetzt ist, wird der Textstrom der abgerufenen Ausgabe zurückgegeben

curl_multi_remove_handle
Eine Handle-Ressource in der Curl-Batch-Handle-Ressource entfernen

curl_multi_close
Eine Gruppe von cURL-Handles schließen

Der vollständige Code lautet wie folgt:

BatchDownLoad.class.php

<?php/**
 * 多进程批量下载文件（使用php curl_multi_exec实现）
 * Date:    2017-07-16
 * Author:  fdipzone
 * Version: 1.0
 *
 * Func
 * public  download 下载处理
 * public  process  多进程下载
 * private to_log   将执行结果写入日志文件
 */class BatchDownLoad {

    // 下载文件设置
    private $download_config = array();    // 最大开启进程数量
    private $max_process_num = 10;    // 超时秒数
    private $timeout = 10;    // 日志文件
    private $logfile = null;    /**
     * 初始化
     * @param  Array  $download_config   下载的文件设置
     * @param  Int    $max_process_num   最大开启的进程数量
     * @param  Int    $timeout           超时秒数
     * @param  String $logfile           日志文件路径
     */
    public function __construct($download_config, $max_process_num=10, $timeout=10, $logfile=&#39;&#39;){
        $this->download_config = $download_config;        $this->max_process_num = $max_process_num;        $this->timeout = $timeout;        // 日志文件
        if($logfile){            $this->logfile = $logfile;
        }else{            $this->logfile = dirname(__FILE__).&#39;/batch_download_&#39;.date(&#39;Ymd&#39;).&#39;.log&#39;;
        }
    }    /**
     * 执行下载
     * @result Int
     */
    public function download(){

        // 已处理的数量
        $handle_num = 0;        // 未处理完成
        while(count($this->download_config)>0){            // 需要处理的大于最大进程数
            if(count($this->download_config)>$this->max_process_num){                $process_num = $this->max_process_num;            // 需要处理的小于最大进程数
            }else{                $process_num = count($this->download_config);
            }            // 抽取指定数量进行下载
            $tmp_download_config = array_splice($this->download_config, 0, $process_num);            // 执行下载
            $result = $this->process($tmp_download_config);            // 写入日志
            $this->to_log($tmp_download_config, $result);            // 记录已处理的数量
            $handle_num += count($result);

        }        return $handle_num;

    }    /**
     * 多进程下载文件
     * @param  Array $download_config 本次下载的设置
     * @return Array
     */
    public function process($download_config){

        // 文件资源
        $fp = array();        // curl会话
        $ch = array();        // 执行结果
        $result = array();        // 创建curl handle
        $mh = curl_multi_init();        // 循环设定数量
        foreach($download_config as $k=>$config){            $ch[$k] = curl_init();            $fp[$k] = fopen($config[1], &#39;a&#39;);

            curl_setopt($ch[$k], CURLOPT_URL, $config[0]);
            curl_setopt($ch[$k], CURLOPT_FILE, $fp[$k]);
            curl_setopt($ch[$k], CURLOPT_HEADER, 0);
            curl_setopt($ch[$k], CURLOPT_RETURNTRANSFER, true);
            curl_setopt($ch[$k], CURLOPT_USERAGENT, &#39;Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)&#39;);            // 加入处理
            curl_multi_add_handle($mh, $ch[$k]);
        }        $active = null;        do{            $mrc = curl_multi_exec($mh, $active);
        } while($active);        // 获取数据
        foreach($fp as $k=>$v){
            fwrite($v, curl_multi_getcontent($ch[$k]));
        }        // 关闭curl handle与文件资源
        foreach($download_config as $k=>$config){
            curl_multi_remove_handle($mh, $ch[$k]);
            fclose($fp[$k]);            // 检查是否下载成功
            if(file_exists($config[1])){                $result[$k] = true;
            }else{                $result[$k] = false;
            }
        }

        curl_multi_close($mh);        return $result;

    }    /**
     * 写入日志
     * @param Array $data 下载文件数据
     * @param Array $flag 下载文件状态数据
     */
    private function to_log($data, $flag){

        // 临时日志数据
        $tmp_log = &#39;&#39;;        foreach($data as $k=>$v){            $tmp_log .= &#39;[&#39;.date(&#39;Y-m-d H:i:s&#39;).&#39;] url:&#39;.$v[0].&#39; file:&#39;.$v[1].&#39; status:&#39;.$flag[$k].PHP_EOL;
        }        // 创建日志目录
        if(!is_dir(dirname($this->logfile))){
            mkdir(dirname($this->logfile), 0777, true);
        }        // 写入日志文件
        file_put_contents($this->logfile, $tmp_log, FILE_APPEND);
    }

}?>

demo. php

<?phprequire &#39;BatchDownLoad.class.php&#39;;$base_path = dirname(__FILE__).&#39;/photo&#39;;$download_config = array(    array(&#39;http://www.example.com/p1.jpg&#39;, $base_path.&#39;/p1.jpg&#39;),    array(&#39;http://www.example.com/p2.jpg&#39;, $base_path.&#39;/p2.jpg&#39;),    array(&#39;http://www.example.com/p3.jpg&#39;, $base_path.&#39;/p3.jpg&#39;),    array(&#39;http://www.example.com/p4.jpg&#39;, $base_path.&#39;/p4.jpg&#39;),    array(&#39;http://www.example.com/p5.jpg&#39;, $base_path.&#39;/p5.jpg&#39;),
);$obj = new BatchDownLoad($download_config, 2, 10);$handle_num = $obj->download();echo &#39;download num:&#39;.$handle_num.PHP_EOL;?>

Protokollausgabe nach der Ausführung

[2017-07-16 18:04:21] url:http://www.example.com/p1.jpg file:/home/fdipzone/photo/p1.jpg status:1[2017-07-16 18:04:21] url:http://www.example.com/p2.jpg file:/home/fdipzone/photo/p2.jpg status:1[2017-07-16 18:04:21] url:http://www.example.com/p3.jpg file:/home/fdipzone/photo/p3.jpg status:1[2017-07-16 18:04:21] url:http://www.example.com/p4.jpg file:/home/fdipzone/photo/p4.jpg status:1[2017-07-16 18:04:21] url:http://www.example.com/p5.jpg file:/home/fdipzone/photo/p5.jpg status:1

In diesem Artikel werden einige Möglichkeiten zum stapelweisen Herunterladen von Dateien erläutert. Weitere verwandte Inhalte finden Sie hier zur chinesischen PHP-Website.

Verwandte Empfehlungen:

So ermitteln Sie über PHP, ob lokale und Remote-Dateien vorhanden sind

Über MySQL-Tabellendatenzeilen und Erläuterung der Spaltenkonvertierungsmethode

Erklärung zur PHP-Protokollklasse

Das obige ist der detaillierte Inhalt vonSo verwenden Sie phpcurl, um Multiprozess-Download-Dateiklassen zu implementieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!