Wie kann ich meinen PHP-Scraping-Code zuverlässig auf 404-Fehler testen?

URLs auf 404 in PHP testen: Eine umfassende Anleitung

Wenn Sie feststellen, dass URLs unerwartete 404-Fehler zurückgeben, kann dies Ihren Scraping-Code stören. Um dies zu beheben, ist es wichtig, am Anfang Ihres Codes einen Test zu implementieren, um nach diesem spezifischen Statuscode zu suchen.

fsockopen-Ansatz

Eine vorgeschlagene Methode ist die Verwendung von fsockopen (). Wenn die URL jedoch über eine Umleitung verfügt, gibt fsockopen() möglicherweise ein leeres Ergebnis für alle Werte zurück.

Curl-Ansatz

Ein zuverlässigerer Ansatz nutzt die Curl-Bindungen von PHP. Mit Curl können Sie den HTTP-Fehlercode mit curl_getinfo() abrufen. Hier ist ein Beispiel:

$handle = curl_init($url);
curl_setopt($handle, CURLOPT_RETURNTRANSFER, TRUE);

$response = curl_exec($handle);

$httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE);
if ($httpCode == 404) {
    // Handle 404 error here
}

curl_close($handle);

// Handle the response as needed

Dieser Code initialisiert ein Curl-Handle für die angegebene $url, legt die Option fest, die Antwort als Zeichenfolge zurückzugeben, führt die Anfrage aus und ruft den HTTP-Code ab. Wenn der Code 404 ist, navigiert er zum entsprechenden Fehlerbehandlungscode.

Fazit

Durch den Einsatz der Funktion „curl_getinfo()“ von Curl können Sie effektiv nach 404-Fehlern in Ihrem System suchen PHP-Scraping-Code, um nachgelagerte Störungen zu verhindern und die Stabilität Ihres Datenextraktionsprozesses sicherzustellen.

Das obige ist der detaillierte Inhalt vonWie kann ich meinen PHP-Scraping-Code zuverlässig auf 404-Fehler testen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!