• 技术文章 >后端开发 >php教程

    一文详解使用PHP编写爬虫的方法

    藏色散人藏色散人2021-07-19 08:59:29转载822
    说到爬虫,大家的第一印象就会想到Python, 但是Python并不是所有人都会的, 那么是否可以使用其他的语言来编写爬虫呢? 当然是可以的,下面介绍一下如何使用PHP编写爬虫。

    获取页面html内容

    1、使用函数 file_get_contents 把整个文件读入一个字符串中。

    file_get_contents(path,include_path,context,start,max_length);
    file_get_contents('https://fengkui.net/');

    这样就可以将整个页面的html内容,读入一个字符串中,然后进行解析了

    2、使用CURL进行请求,获取html

    /**
     * [curlHtml 获取页面信息]
     * @param  [type] $url [网址]
     * @return [type]      [description]
     */
    function curlHtml($url)
    {
        $curl = curl_init();
        curl_setopt_array($curl, array(
            CURLOPT_URL            => "{$url}",
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_ENCODING       => "",
            CURLOPT_MAXREDIRS      => 10,
            CURLOPT_TIMEOUT        => 30,
            CURLOPT_HTTP_VERSION   => CURL_HTTP_VERSION_1_1,
            CURLOPT_CUSTOMREQUEST  => "GET",
            CURLOPT_HTTPHEADER     => array(
                "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
                "Accept-Encoding: gzip, deflate, br",
                "Accept-Language: zh-CN,zh;q=0.9",
                "Cache-Control: no-cache",
                "Connection: keep-alive",
                "Pragma: no-cache",
                "Upgrade-Insecure-Requests: 1",
                "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36",
                "cache-control: no-cache"
            ),
        ));
        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
        $response = curl_exec($curl);
        $err = curl_error($curl);
        curl_close($curl);
        if ($err) return false;
        else return $response;
    }

    使用Curl我们可以来进行其他操作,如模拟浏览器模拟登陆等一些高级操作。

    解析页面HTML,获取所需数据

    1、正则获取内容

    /**
     * [get_tag_data 使用正则获取html内容]
     * @param  [type] $html  [爬取的页面内容]
     * @param  [type] $tag   [要查找的标签]
     * @param  [type] $attr  [要查找的属性名]
     * @param  [type] $value [属性名对应的值]
     * @return [type]        [description]
     */
    function get_tag_data($html,$tag,$attr,$value){
        $regex = "/<$tag.*?$attr=\".*?$value.*?\".*?>(.*?)<\/$tag>/is";
        preg_match_all($regex,$html,$matches,PREG_PATTERN_ORDER);
        $data = isset($matches[1][0]) ? $matches[1][0] : '';
        return $data;
    }
    $str = '<div class="feng">冯奎博客</div>';
    $value = get_tag_data($str, 'div', 'class', 'feng');

    2、使用Xpath解析数据

    XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。 具体使用方法及相关介绍查看百度百科(XPath) 使用方法:

    /**
     * [get_html_data 使用xpath对获取到的html内容进行处理]
     * @param  [type]  $html [爬取的页面内容]
     * @param  [type]  $path [Xpath语句]
     * @param  integer $tag  [类型 0内容 1标签内容 自定义标签]
     * @param  boolean $type [单个 还是多个(默认单个时输出单个)]
     * @return [type]        [description]
     */
    function get_html_data($html,$path,$tag=1,$type=true)
    {
        $dom = new \DOMDocument();
        @$dom->loadHTML("<?xml encoding='UTF-8'>" . $html); // 从一个字符串加载HTML并设置UTF8编码
        $dom->normalize(); // 使该HTML规范化
        $xpath = new \DOMXPath($dom); //用DOMXpath加载DOM,用于查询
        $contents = $xpath->query($path); // 获取所有内容
        $data = [];
        foreach ($contents as $value) {
            if ($tag==1) {
                $data[] = $value->nodeValue; // 获取不带标签内容
            } elseif ($tag==2) {
                $data[] = $dom->saveHtml($value);  // 获取带标签内容
            } else {
                $data[] = $value->attributes->getNamedItem($tag)->nodeValue; // 获取attr内容
            }
        }
        if (count($data)==1) {
            $data = $data[0];
        }
        return $data;
    }

    推荐学习:《PHP视频教程

    以上就是一文详解使用PHP编写爬虫的方法的详细内容,更多请关注php中文网其它相关文章!

    声明:本文转载于:fengkui.net,如有侵犯,请联系admin@php.cn删除
    专题推荐:PHP
    上一篇:浅谈PHP中的中介者模式 下一篇:详解PHP怎么使用动态规划实现最优红包组合
    第16期线上培训班

    相关文章推荐

    • php文件下载后不能打开怎么办• centos找不到php命令怎么办• php怎么去掉中文空格• php怎么删除空白字符串

    全部评论我要评论

  • 取消发布评论发送
  • 1/1

    PHP中文网