PHP 웹 크롤러는 fsockopen을 사용하여 HTTP 요청을 구현합니다.

웹 크롤러는 사용자 행동을 시뮬레이션하여 네트워크상의 데이터를 자동으로 캡처하고 저장하거나 분석할 수 있는 자동화된 데이터 수집 도구입니다. 널리 사용되는 웹 개발 언어인 PHP에는 풍부한 웹 크롤러 개발 도구와 기술도 있습니다.

이 기사에서는 PHP의 fsockopen 함수를 사용하여 HTTP 요청을 구현하여 간단한 웹 크롤러 시스템을 구축하는 방법을 소개합니다. fsockopen 함수는 소켓 통신과 관련된 PHP 함수로 TCP/IP 프로토콜을 기반으로 네트워크 연결을 설정하는 데 사용할 수 있습니다. fsockopen을 사용하여 HTTP 요청을 하는 경우 HTTP 프로토콜 사양을 따르고 올바른 요청 헤더 정보와 요청 본문 데이터를 보내 대상 페이지의 응답 콘텐츠를 가져와야 합니다. 아래에서는 이 과정을 단계별로 보여드리겠습니다.

네트워크 연결 설정

fsockopen 기능을 사용하여 네트워크 연결을 설정할 때 대상 서버의 호스트 이름과 포트 번호를 지정해야 하며 HTTP 또는 HTTPS 프로토콜을 사용하도록 선택할 수 있습니다. 다음은 간단한 네트워크 연결 예시입니다.

$hostname = 'example.com';   // 目标服务器主机名
$port = 80;                  // 目标服务器端口号
$protocol = 'tcp';           // 使用 TCP/IP 协议

$handle = fsockopen($protocol . '://' . $hostname, $port, $errno, $errstr);
if (!$handle) {
    echo '网络连接错误';
}

이 예시에서는 TCP/IP 프로토콜을 사용하여 대상 서버 example.com의 호스트 이름을 지정하고 포트 번호는 80입니다. 연결이 성공하면 소켓 핸들 $handle이 반환되고, 그렇지 않으면 네트워크 연결 오류 메시지가 출력됩니다.

HTTP 요청 보내기

네트워크 연결을 설정한 후 HTTP 프로토콜에 따라 올바른 HTTP 요청 헤더 정보와 요청 본문 데이터를 보내야 합니다. 구체적으로 요청 방법, 요청 경로, 요청 헤더 정보 및 요청 본문 데이터를 정의하고 이를 사양에 따라 HTTP 프로토콜을 준수하는 문자열로 연결해야 합니다. 다음은 HTTP GET 요청을 보내는 예입니다.

$path = '/';           // 请求路径
$method = 'GET';       // 请求方法

// 组装请求头信息
$headers = array(
    'Host: ' . $hostname,
    'Connection: close',
    'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
);

// 组装请求体数据
$body = '';

// 拼接 HTTP 请求
$request = $method . ' ' . $path . " HTTP/1.1
";
$request .= implode("
", $headers) . "
";
$request .= "
";
$request .= $body;

// 发送请求
fwrite($handle, $request);

이 예에서는 요청 경로를 루트 디렉터리 /로 정의하고 요청 방법을 GET으로 정의합니다. 그런 다음 Host, Connection 및 User-Agent를 포함하는 요청 헤더 정보를 정의합니다. 편의상 여기서는 간단한 User-Agent를 사용합니다. 실제 개발에서는 서버에 의해 차단되지 않도록 보다 무작위적이고 복잡한 UA를 사용해야 할 수도 있습니다. 다음으로 요청 본문 데이터가 비어 있도록 정의했습니다. 마지막으로 HTTP 요청을 연결하고 fwrite 함수를 통해 대상 서버로 보냅니다.

HTTP 응답 수신

대상 서버가 HTTP 요청을 수신하면 HTTP 응답을 반환합니다. 이 응답에는 응답 헤더 정보와 응답 본문 데이터가 포함됩니다. 소켓 핸들에서 응답 콘텐츠를 읽고 응답 헤더와 응답 본문 데이터를 구문 분석하려면 PHP의 fread 함수를 사용해야 합니다. 예는 다음과 같습니다.

// 接收响应
$response = '';
while (!feof($handle)) {
    $response .= fgets($handle);
}

// 关闭连接
fclose($handle);

// 解析响应
list($header, $body) = explode("

", $response, 2);
$headers = explode("
", $header);
$status = array_shift($headers);
list($version, $code, $reason) = explode(' ', $status, 3);

이 예에서는 루프를 사용하여 응답 내용을 한 줄씩 읽고 $response 변수에 저장합니다. 그런 다음 대상 서버에 대한 네트워크 연결을 닫았습니다. 다음으로,Explode 함수를 사용하여 응답 헤더와 응답 본문을 구문 분석하고 응답 헤더에서 상태 코드와 응답 설명을 가져옵니다. 실제 개발에서는 Content-Type, Set-Cookie 등과 같은 다른 응답 헤더 정보를 구문 분석해야 할 수도 있습니다.

지금까지 우리는 비교적 간단한 HTTP 요청 전송 및 응답 구문 분석 프로세스를 구현했습니다. 프록시 서버 사용, 임의 지연 추가 등 필요에 따라 웹 크롤러 시스템의 기능과 성능을 더욱 개선하고 조정할 수 있습니다. 동시에 우리는 웹 크롤러의 규범과 윤리를 준수해야 하며 크롤러 도구를 남용해서는 안 되며 웹 사이트의 합법적인 권익과 사용자 개인정보를 침해해서는 안 됩니다.

위 내용은 PHP 웹 크롤러는 fsockopen을 사용하여 HTTP 요청을 구현합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!