PHP批量下载指定路径图片

Question

知道服务器上图片所保存的路径，类http://site.com/main/photo/850/014.jpg，如何批量下载到本地，其中850文件夹及014文件名都从000开始匹配，文件存在就下载，否则略过：）

以下代码只能下载指定页面的：（，望大神指教，谢过！

<?php

$url = "http://site.com/";
$content=file_get_contents($url);
$reg="/<img.*?src=\"(.*?)\".*?>/";

preg_match_all($reg,$content,$matches);

$path = './imgDownload';
if(!file_exists($path)){
    mkdir($path, 0777);
}

for($i = 0;$i < count($matches[1]);$i ++){

    /*explode
    $url_arr[$i] = explode('/', $matches[1][$i]);
    $last = count($url_arr[$i])-1;
    */

    //strrchr   
    $filename = strrchr($matches[1][$i], '/');

    downImage($matches[1][$i],$path.$filename);
    //downImage($matches[1][$i],$path.'/'.$url_arr[$i][$last]);
}

function downImage($url,$filename="") {
    if($url=="") return false;

    if($filename=="") {
        $ext=strrchr($url,".");
        if($ext!=".gif" && $ext!=".jpg" && $ext!=".png" && $ext!="jpeg") return false;
        $filename=date("YmdHis").$ext;
    }

    ob_start();
    //make file that output from url goes to buffer
    readfile($url);
    //file_get_contents($url);  这个方法不行的！！！只能用readfile
    $img = ob_get_contents();
    ob_end_clean();

    $fp=@fopen($filename, "a");//append
    fwrite($fp,$img);

    fclose($fp);

    return $filename;
}

Answer 1

代碼寫得太糟糕了，還有幾處錯誤，幫你重寫一份。

在一個循環里多次調用 addPage 就行了。

如果已經有 url 的話，也可以直接調用 download。

for ($i = 0; $i < 99; ++$i)
    download('http://cdn.image.com/static/' . $i . '.png', DOWNLOAD_PATH . $i . '.png');

效率有點低，可以考慮改用 culr_multi_* 系列函數。

<?php
namespace Spider;

define('DOWNLOAD_PATH', './imgDownload/');

spider();

function spider($path = DOWNLOAD_PATH) {
    $urls = [];

    addPage('http://www.baidu.com', $urls);
    addPage('http://www.taobao.com', $urls);

    var_dump($urls);

    // error_reporting(0);
    foreach ($urls as $url => $referer) {
        // echo $url, "\n";
        $filename = pathinfo($url, PATHINFO_FILENAME) . '.' . pathinfo($url, PATHINFO_EXTENSION);
        download($url, $path . $filename, $referer);
    }
    // error_reporting(1);
}


function addPage($page, &$urls) {
    $cur = extractPage($page);

    for ($i = 0, $n = count($cur); $i < $n; ++$i) {
        $j = $cur[$i];

        if (!isset($urls[$j]))
            $urls[$j] = $page;
    }
}

function extractPage($page, $reg = '/<img.*?src="(.*?)".*?>/') {
    $content = file_get_contents($page);
    // $content = '<img src="1.png">';
    preg_match_all($reg, $content, $matches);

    return $matches[1];
}

function download($url, $file, $referer = '') {
    $url = abs_url($url, $referer);
    echo $url, "\n";

    $opts = [
        'http' => [
            'method' => 'GET',
            'header' => "Accept-language: en\r\n" . 
                        // "Cookie: \r\n" .
                        "Referer: " . $url . "\r\n"
        ]
    ];

    $context = stream_context_create($opts);

    file_put_contents($file, file_get_contents($url, false, $context));

    return $file;
}

function abs_url($url, $referer) {
    $com = parse_url($url);

    if (!isset($com['scheme']))
        $com['scheme'] = 'http';

    if ($referer !== '') {
        $ref = parse_url($referer);

        if (!isset($com['host'])) {
            if (isset($ref['host'])) {
                $com['host'] = $ref['host'];
                if (!isset($ref['path']))
                    $ref['path'] = '/';
            }

            if (isset($com['path'][0])) {
                if ($com['path'][0] !== '/')
                    $com['path'] = $ref['path'] . $com['path'];
            } else if (isset($ref['host'])) {
                $com['path'] = $ref['path'];
            }
        } else {
            if (!isset($com['path']))
                $com['path'] = '';
        }
    }

    return unparse_url($com);
}

function unparse_url($com) {
    return (isset($com['host']) ? ($com['scheme'] . '://' . $com['host']) : '') . $com['path'] . (isset($com['query']) ? '?'.$com['query'] : '');
}

Answer 2

可以使用 curl_multi_* 系列函数批量请求远程地址。 把所有需要请求的页面放到一个数组里，每次并发20个去请求。
建议修改下程序思路，先批量根据页面地址获取需要下载的图片地址，第二步再批量处理图片下载。
两个部分的都可以用 culr_multi_*系列函数去并发处理。