Fungsi crawler fungsi PHP

Dengan perkembangan Internet, perangkak web telah menjadi kaedah pengumpulan data yang penting. Sebagai bahasa yang digunakan secara meluas dalam pembangunan web, bahasa PHP mempunyai fungsi terbina dalam yang juga sangat sesuai untuk pembangunan crawler. Artikel ini akan memperkenalkan beberapa fungsi PHP biasa dan menunjukkan cara menggunakan fungsi ini untuk menulis fungsi perangkak asas.

1. Fungsi file_get_contents

Fungsi file_get_contents digunakan untuk membaca kandungan fail dan boleh menerima fail atau URL setempat, jadi kami boleh menggunakannya untuk mendapatkan data halaman di Internet. Oleh kerana ia tidak memerlukan parameter konfigurasi, ia mudah digunakan. Kod berikut menunjukkan cara menggunakan fungsi file_get_contents untuk mendapatkan kandungan HTML halaman web:

$url = 'http://example.com';
$html = file_get_contents($url);
echo $html;

2. fungsi preg_match

Fungsi preg_match ialah fungsi ekspresi biasa terbina dalam PHP, yang boleh digunakan untuk menentukan Sama ada rentetan itu sepadan dengan corak. Memandangkan kebanyakan maklumat halaman web dibentangkan dalam format HTML, kami boleh menggunakan ungkapan biasa untuk mengekstrak kandungan yang diperlukan. Kod berikut menunjukkan cara menggunakan fungsi preg_match untuk mengekstrak semua pautan daripada HTML:

$url = 'http://example.com';
$html = file_get_contents($url);
preg_match_all('/<as+href=['"]([^'"]+)['"]/i', $html, $matches);
print_r($matches[1]);

Dalam kod di atas, ungkapan biasa /<as+href=['"]([^'"]+)['"]/i digunakan untuk memadankan semua teg dengan atribut href, dengan itu mengekstrak pautan.

3. Fungsi Curl

Fungsi curl ialah sambungan PHP yang digunakan secara meluas dalam pengaturcaraan rangkaian. Ia boleh digunakan untuk menghantar permintaan ke URL tertentu dan mendapatkan respons. Ia menyokong banyak protokol, termasuk HTTP, FTP, SMTP, dsb., dan juga boleh menetapkan pengepala permintaan, parameter permintaan, dsb. Kod berikut menunjukkan cara menggunakan fungsi curl untuk mendapatkan kandungan HTML halaman web:

$url = 'http://example.com';
$ch = curl_init(); // 初始化curl
curl_setopt($ch, CURLOPT_URL, $url); // 设置请求URL
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // 设置不直接输出响应
$html = curl_exec($ch); // 发送请求并获取响应
curl_close($ch); // 关闭curl
echo $html;

IV Pelaksanaan fungsi perangkak mudah

Berdasarkan fungsi di atas, kita boleh dengan mudah. tulis Fungsi perangkak mudah, digunakan untuk mendapatkan maklumat berkaitan halaman web. Kod berikut menunjukkan cara menggunakan tiga fungsi di atas untuk melaksanakan fungsi perangkak yang memperoleh tajuk halaman dan semua pautan:

function spider($url) {
    $html = file_get_contents($url); // 获取页面HTML
    preg_match('/<title>([^<]+)</title>/', $html, $title); // 提取页面标题
    preg_match_all('/<as+href=['"]([^'"]+)['"]/i', $html, $links); // 提取所有链接
    $result = array('title' => $title[1], 'links' => $links[1]); // 构造输出结果
    return $result;
}

$url = 'http://example.com';
$result = spider($url);
print_r($result);

Dalam kod di atas, kami mentakrifkan fungsi bernama labah-labah, yang mengandungi tiga langkah: Dapatkan HTML halaman, ekstrak tajuk halaman, ekstrak pautan halaman. Akhirnya, fungsi mengeluarkan hasil sebagai tatasusunan bersekutu. Jalankan fungsi ini dan masukkan URL untuk mendapatkan tajuk halaman dan semua pautan.

Ringkasnya, menggunakan beberapa fungsi terbina dalam PHP, kita boleh menulis fungsi perangkak asas untuk mendapatkan maklumat di Internet dengan mudah. Dalam pembangunan sebenar, kami juga perlu mempertimbangkan strategi anti perangkak, penyimpanan data dan isu lain untuk memastikan kestabilan dan kebolehpercayaan perangkak.

Atas ialah kandungan terperinci Fungsi crawler fungsi PHP. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!