컬링 및 file_get_contents 왜곡된 웹 페이지 잡기에 대한 솔루션 filegetcontents timeout js 파일 내용 가져오기 wp 파일 내용 가져오기

오늘 소후의 웹페이지를 컬링(curl_init) 기능을 이용하여 크롤링 해보니, 수집된 웹페이지가 깨져있는 것을 분석한 결과, 서버에서 gzip 압축 기능을 켜놓은 것을 발견했습니다. gzip을 구문 분석하기 위해 cur_setopt 함수에 여러 옵션 CURLOPT_ENCODING을 추가하기만 하면 올바르게 디코딩할 수 있습니다.
또한, 캡처된 웹페이지가 GBK로 인코딩되었지만 스크립트가 실제로 utf-8로 인코딩된 경우 캡처된 웹페이지는 mb_convert_encoding 함수를 사용하여 변환되어야 합니다.
$tmp = sys_get_temp_dir();
$cookieDump = tempnam($tmp, 'cookies');
$url = 'http://tv.sohu.com' ;
$ch =curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 1);//반환된 헤더 영역 내용 표시
curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1); // 자동 점프 사용
cur_setopt ($ch, CURLOPT_TIMEOUT, 10); // 시간 제한 설정
cur_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 파일 스트림 형식으로 반환
컬_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);// 링크 시간 초과 제한
컬_setopt ($ch, CURLOPT_HTTPHEADER,array('Accept-Encoding: gzip, deflate')); / /http 헤더 정보 설정
컬_setopt ($ch, CURLOPT_ENCODING, 'gzip,deflate');//gzip 디코딩 옵션 추가, 웹페이지에서 gzip이 활성화되어 있지 않아도 상관없습니다
컬_setopt( $ch, CURLOPT_COOKIEJAR, $cookieDump) ; // 쿠키 정보를 저장할 파일 이름
$content = cur_exec($ch);
// 캡처한 웹페이지를 GBK에서 UTF-8로 변환
$content = mb_convert_encoding($content," UTF-8","GBK");
?>
$url = 'http://tv.sohu.com';
// extract.zlib 옵션만 추가하면 서버에서 gzip 압축 기능이 활성화되어 있어도 디코딩 가능
$content = file_get_contents("compress.zlib://".$url);
// 캡처된 웹페이지를 GBK에서 UTF-8로 변환
$content = mb_convert_encoding($content,"UTF-8","GBK");
?>
원본 텍스트: http:/ /woqilin.blogspot.com/2014/05/curl-filegetcontents.html

위 내용은 file_get_contents의 내용을 포함하여 왜곡된 웹 페이지를 잡아내는 컬 및 file_get_contents에 대한 솔루션을 소개합니다. PHP 튜토리얼에 관심이 있는 친구들에게 도움이 되기를 바랍니다.