Bagaimana untuk menggunakan PHP dan phpSpider untuk merangkak kandungan tapak web tertentu dengan tepat?

Bagaimana untuk menggunakan PHP dan phpSpider untuk merangkak kandungan tapak web tertentu dengan tepat?

Pengenalan:
Dengan perkembangan Internet, jumlah data di laman web semakin meningkat, dan tidak cekap untuk mendapatkan maklumat yang diperlukan melalui operasi manual. Oleh itu, kita sering perlu menggunakan alat merangkak automatik untuk mendapatkan kandungan laman web tertentu Bahasa PHP dan perpustakaan phpSpider adalah salah satu alat yang sangat praktikal. Artikel ini akan memperkenalkan cara menggunakan PHP dan phpSpider untuk merangkak kandungan tapak web tertentu dengan tepat dan memberikan contoh kod.

1. Pasang phpSpider

Pertama, kita perlu memasang perpustakaan phpSpider dalam persekitaran setempat. Kita boleh memasangnya melalui Composer, buka terminal, masukkan direktori projek, dan kemudian laksanakan arahan berikut:

composer memerlukan phpspider/phpspider

Selepas melaksanakan arahan ini, phpSpider akan dipasang dalam direktori projek kami.

2. Buat skrip merangkak

Seterusnya, kita perlu mencipta skrip PHP untuk merangkak kandungan laman web. Kita boleh menggunakan alatan IDE (seperti Teks Sublime, PHPStorm, dll.) untuk membuka fail PHP kosong dan mula menulis kod.

Berikut ialah contoh kod ringkas untuk merangkak tajuk berita dan kandungan pada tapak web tertentu:

memerlukan 'vendor/autoload.php';

gunakan phpspidercorephpspider;
gunakan phps;
elemen phpspidercoreequest

// Set pengekodan
header("Content-type: text/html; charset=utf-8");

// Tetapkan tapak web sasaran untuk merangkak
$url = "http://www. example.com /news";

// Tetapkan proksi
permintaan::set_proxy(['127.0.0.1:8888']);

// Tetapkan ejen pengguna
permintaan::set_useragent(

'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0) Gecko/20100101 Firefox/9.0.1'

);

// Denda fungsi panggil balik untuk memproses setiap halaman

function handle_page($page)
{

$selector = "//div[@class='news-item']";
$result = selector::select($page['raw'], $selector);

foreach ($result as $item) {
    $title = selector::select($item, "//h2/a/text()");
    $content = selector::select($item, "//div[@class='content']/text()");
    
    // 输出抓取的结果
    echo "标题: ".$title.PHP_EOL;
    echo "内容: ".$content.PHP_EOL;
    echo "-----------------------------".PHP_EOL;
}

}

// Cipta instance merangkak

$spider = new phpspider();

// Tetapkan URL yang dirangkak

$spider-> ;add_url($url);

//Tetapkan fungsi panggil balik selepas rangkak halaman selesai

$spider->on_scan_page = function ($page, $content, $phpspider) {

handle_page($page);

};

// Mula merangkak

$spider->start();

?>

Nota: "http://www.example.com/news" dalam kod di atas ialah pautan contoh, apabila digunakan dalam penggunaan sebenar Sila ganti ia dengan pautan tapak web yang anda ingin crawl.

3. Analisis kod

Dalam kod di atas, kami mula-mula mengimport perpustakaan phpspider, kemudian menetapkan URL tapak web sasaran untuk dirangkak, dan menetapkan konfigurasi yang berkaitan seperti proksi dan ejen pengguna. Seterusnya, kami mentakrifkan fungsi panggil balik handle_page untuk memproses setiap halaman. Dalam fungsi panggil balik ini, kami menggunakan kelas pemilih yang disediakan oleh phpSpider untuk menghuraikan halaman dan mengekstrak tajuk dan kandungan berita yang diperlukan. Akhirnya, kami mengeluarkan hasil rangkak.

Seterusnya, kami mencipta instance phpspider, menambah URL untuk dirangkak dan menetapkan fungsi panggil balik on_scan_page, dan kemudian memulakan proses merangkak.

4. Ringkasan

Dengan menggunakan PHP dan phpSpider, kami boleh mencapai rangkak kandungan tapak web tertentu dengan mudah. Anda hanya perlu memasang perpustakaan phpSpider, menulis skrip rangkak dan mengkonfigurasi parameter yang berkaitan untuk mendapatkan data yang diperlukan secara automatik. Saya harap artikel ini dapat membantu anda mempelajari dan memahami cara menggunakan PHP dan phpSpider untuk merangkak kandungan laman web.

Rujukan:

phpSpider dokumentasi rasmi: http://phpspider.org/
1. Tapak web rasmi komposer: https://getcomposer.org/

Atas ialah kandungan terperinci Bagaimana untuk menggunakan PHP dan phpSpider untuk merangkak kandungan tapak web tertentu dengan tepat?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!