首頁 >後端開發 >php教程 >curl 和 file_get_contents 抓取網頁亂碼的解決之道 filegetcontents逾時 js file get contents wp file get contents

curl 和 file_get_contents 抓取網頁亂碼的解決之道 filegetcontents逾時 js file get contents wp file get contents

WBOY
WBOY原創
2016-07-29 08:52:421021瀏覽

    今天用 curl_init 函數抓取搜狐的網頁時,發現採集的網頁時亂碼,經過分析發現原來是伺服器開啟了gzip壓縮功能。只要在函數 curl_setopt 新增多個選項 CURLOPT_ENCODING 解析 gzip 就可以正確解碼了。
    還有如果抓取的網頁時 GBK 編碼,但是腳本確是 utf-8 編碼,還得把抓取的網頁再用函數 mb_convert_encoding 轉換下。
    $tmp = sys_get_temp_dir();
    $cookieDump = tempnam($tmp, 'cookies');
    $url = 'http://tv.I.com');
    $url = 'http://tv.tv;
    curl_setopt ($ch, CURLOPT_URL, $url);
    curl_setopt ($ch, CURLOPT_HEADER, 1);// 顯示返回的Header區域內容
URL    curl_setopt 。逾時限制
    curl_setopt ($ch, CURLOPT_HTTPHEADER,array('Accept-Encoding: gzip, deflate'));//設定http 頭資訊
    curl_setopt ($ch, CURLOPT_ENzD);的選項,即使網頁沒啟用gzip 也沒關係
    curl_setopt ($ch, CURLOPT_COOKIEJAR, $cookieDump);  // 存放Cookie訊息的檔案名稱
   $content = curl_exec($ch);轉換成UTF-8 
    $content = mb_convert_encoding($content,"UTF-8","GBK");
?>
    $url = 'http://tv.
    $url = 'http://tv.hu.com'; / 只要加入 compress.zlib 選項,即使伺服器啟用了gzip 壓縮功能,就能夠解碼了
    $content = file_get_contents("compress.zlib://".$url);
   // 把網頁由GBK 抓取的網頁由GBK 的網頁轉換成UTF-8 
    $content = mb_convert_encoding($content,"UTF-8","GBK");
?>
原文:http://woqilin.blogspot.com/2014/05/curl-filegetcontentshtml

以上就介紹了curl 和 file_get_contents 抓取網頁亂碼的解決之道,包括了file_get_contents方面的內容,希望對PHP教程有興趣的朋友有所幫助。

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn