>백엔드 개발 >PHP 튜토리얼 >PHP에서 웹 스크래핑 중 404 오류를 효과적으로 처리하는 방법은 무엇입니까?

PHP에서 웹 스크래핑 중 404 오류를 효과적으로 처리하는 방법은 무엇입니까?

Barbara Streisand
Barbara Streisand원래의
2024-12-03 06:48:09122검색

How to Effectively Handle 404 Errors During Web Scraping in PHP?

PHP에서 404 오류를 효율적으로 처리하는 방법

웹 페이지를 스크랩할 때 404(찾을 수 없음) 오류가 발생하면 코드 흐름이 중단될 수 있습니다. 이러한 중단을 방지하려면 처음부터 강력한 URL 유효성 검사를 구현하는 것이 중요합니다.

fsockopen 메서드 제한

fsockopen() 사용에 대한 블로그 제안에는 특히 다음과 같은 경우 제한이 있습니다. 리디렉션을 처리합니다. 유효한 URL인 경우에도 빈 $valid 값을 반환할 수 있습니다.

curl 및 cur_getinfo() 소개

PHP의 컬 라이브러리는 리디렉션 및 반환을 효과적으로 처리하는 대체 접근 방식을 제공합니다.の詳細なHTTP情報を提供しまс。 curl_getinfo()를 사용하면 다음을 검색할 수 있습니다. cURL 요청을 실행한 후의 HTTP 상태 코드입니다. 다음은 404 오류를 확인하기 위해 컬을 사용하는 샘플 코드입니다.

$handle = curl_init($url);
curl_setopt($handle,  CURLOPT_RETURNTRANSFER, TRUE);

/* Get the HTML or whatever is linked in $url. */
$response = curl_exec($handle);

/* Check for 404 (file not found). */
$httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE);
if($httpCode == 404) {
    /* Handle 404 here. */
}

curl_close($handle);

/* Handle $response here. */

이 코드에서:

  • cURL 세션은 컬_init()를 사용하여 초기화됩니다.
  • cur_setopt()는 $response를 반환하도록 세션을 구성합니다. string.
  • curl_exec()는 요청을 실행합니다.
  • curl_getinfo()는 HTTP 상태 코드($httpCode)를 검색합니다.
  • $httpCode가 404인 경우 코드는 error.

이 방법을 활용하면 404 오류를 효율적으로 처리할 수 있습니다. 스크래핑 코드가 원활하게 실행되는지 확인하세요.

위 내용은 PHP에서 웹 스크래핑 중 404 오류를 효과적으로 처리하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.