컬 및 file_get_contents를 사용하여 잘못된 웹 페이지를 크롤링하는 솔루션

오늘 소후의 웹 페이지를 컬링(curl_init) 기능을 이용해 크롤링 해보니, 수집된 웹 페이지가 깨져 있는 것을 분석한 결과, 서버에서 gzip 압축 기능을 켜놓은 것을 발견했습니다. gzip을 구문 분석하기 위해 cur_setopt 함수에 여러 옵션 CURLOPT_ENCODING을 추가하기만 하면 올바르게 디코딩할 수 있습니다.


또한, 캡처된 웹 페이지가 GBK로 인코딩되었지만 스크립트가 실제로 utf-8로 인코딩된 경우, 캡처된 웹 페이지는 mb_convert_encoding 함수를 사용하여 변환되어야 합니다.

<?php
    $tmp = sys_get_temp_dir();
    $cookieDump = tempnam($tmp, &#39;cookies&#39;);
    $url = &#39;http://tv.sohu.com&#39;;
    $ch = curl_init();
    curl_setopt ($ch, CURLOPT_URL, $url);
    curl_setopt ($ch, CURLOPT_HEADER, 1);// 显示返回的Header区域内容
    curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转
    curl_setopt ($ch, CURLOPT_TIMEOUT, 10);// 设置超时限制
    curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
    curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);// 链接超时限制
    curl_setopt ($ch, CURLOPT_HTTPHEADER,array(&#39;Accept-Encoding: gzip, deflate&#39;));//设置 http 头信息
    curl_setopt ($ch, CURLOPT_ENCODING, &#39;gzip,deflate&#39;);//添加 gzip 解码的选项，即使网页没启用 gzip 也没关系
    curl_setopt ($ch, CURLOPT_COOKIEJAR, $cookieDump);  // 存放Cookie信息的文件名称
    $content = curl_exec($ch);
    // 把抓取的网页由 GBK 转换成 UTF-8 
    $content = mb_convert_encoding($content,"UTF-8","GBK");
?>

<?php
    $url = &#39;http://tv.sohu.com&#39;;
    // 只要添加 compress.zlib 选项，即使服务器启用了gzip 压缩功能，就能够解码了
    $content = file_get_contents("compress.zlib://".$url);
    // 把抓取的网页由 GBK 转换成 UTF-8 
    $content = mb_convert_encoding($content,"UTF-8","GBK");
?>