Rumah  >  Artikel  >  pembangunan bahagian belakang  >  Bagaimana Mengeluarkan Kandungan Halaman Dengan Cekap Menggunakan cURL dengan Pengendalian Ralat?

Bagaimana Mengeluarkan Kandungan Halaman Dengan Cekap Menggunakan cURL dengan Pengendalian Ralat?

DDD
DDDasal
2024-10-22 20:34:26309semak imbas

How to Efficiently Extract Page Content Using cURL with Error Handling?

Cara Mengekstrak Kandungan Halaman Menggunakan cURL: Penyelesaian Terperinci

Memahami Isu

Apabila cuba mengikis kandungan HTML halaman web menggunakan cURL, adalah perkara biasa untuk menghadapi ralat ubah hala atau "halaman dialihkan". Ini selalunya boleh dikaitkan dengan aksara yang dikodkan khas dalam rentetan pertanyaan.

Pengoptimuman untuk cURL:

Untuk mendapatkan semula kandungan halaman dengan berkesan tanpa menghadapi isu ini, optimumkan kod cURL anda seperti berikut:

<code class="php">function get_web_page($url) {
    $user_agent='Mozilla/5.0 (Windows NT 6.1; rv:8.0) Gecko/20100101 Firefox/8.0';

    $options = array(
        CURLOPT_CUSTOMREQUEST  => "GET",
        CURLOPT_POST           => false,
        CURLOPT_USERAGENT      => $user_agent,
        CURLOPT_COOKIEFILE     => "cookie.txt", 
        CURLOPT_COOKIEJAR      => "cookie.txt",
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_HEADER         => false,
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_ENCODING       => "",
        CURLOPT_AUTOREFERER    => true,
        CURLOPT_CONNECTTIMEOUT => 120,
        CURLOPT_TIMEOUT        => 120,
        CURLOPT_MAXREDIRS      => 10,
    );

    $ch      = curl_init($url);
    curl_setopt_array($ch, $options);
    $content = curl_exec($ch);
    $err     = curl_errno($ch);
    $errmsg  = curl_error($ch);
    $header  = curl_getinfo($ch);
    curl_close($ch);

    $header['errno']   = $err;
    $header['errmsg']  = $errmsg;
    $header['content'] = $content;
    return $header;
}</code>

Contoh:

Dapatkan semula dan kendalikan kemungkinan ralat semasa membaca halaman:

<code class="php">$result = get_web_page($url);

if ($result['errno'] != 0)
    // Error handling for invalid URL, timeout, or redirect loops.

if ($result['http_code'] != 200)
    // Error handling for issues like missing page, permission denial, or unavailability.

$page = $result['content'];</code>

Atas ialah kandungan terperinci Bagaimana Mengeluarkan Kandungan Halaman Dengan Cekap Menggunakan cURL dengan Pengendalian Ralat?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan:
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn