Perangkak web menggunakan PHP dan XML

Menggunakan PHP dan XML untuk melaksanakan perangkak web

Pengenalan:
Dengan perkembangan pesat Internet, mendapatkan dan menganalisis data rangkaian menjadi semakin penting. Sebagai alat automatik, Web Crawler digunakan untuk merangkak halaman web dari Internet dan mengekstrak maklumat berharga Ia telah menjadi salah satu cara pengumpulan dan analisis data yang penting. Artikel ini akan memperkenalkan cara menggunakan PHP dan XML untuk melaksanakan perangkak web mudah, dan menggambarkan langkah-langkah melalui contoh kod.

Langkah 1: Pasang persekitaran PHP
Mula-mula, kita perlu memasang persekitaran PHP pada mesin tempatan. Anda boleh memuat turun versi PHP terkini dari laman web rasmi PHP https://www.php.net/ dan memasangnya mengikut dokumentasi rasmi.

Langkah 2: Tulis skrip perangkak
Buat fail bernama crawler.php dan tulis kod berikut di dalamnya:

// Tentukan pautan halaman web sasaran untuk merangkak
$url = "https: / /www.example.com";

// Cipta fail XML baharu untuk menyimpan data yang dirangkak
$xml = new SimpleXMLElement("");

// Gunakan fungsi file_get_contents untuk mendapatkan kandungan HTML halaman web sasaran
$html = file_get_contents($url);

// Gunakan kelas DOMDocument untuk menghuraikan kandungan HTML
$dom = new DOMDocument();
$dom->loadHTML($ html) ;

// Gunakan XPath untuk menanyakan nod
$xpath = new DOMXPath($dom);

// Gunakan ungkapan XPath untuk mendapatkan nod sasaran
$nodes = $xpath->query("//div [@class= 'content']");

// Lintas nod yang dipadankan dan tambahkan kandungannya pada XML
foreach ($nod sebagai $node) {
$data = $xml->addChild("item") ;
$data->addChild("content", $node->nodeValue);
}

// Simpan XML sebagai fail
$xml->asXML("data.xml");
?>

Langkah 3: Jalankan skrip perangkak
Lakukan arahan berikut dalam baris arahan untuk menjalankan skrip perangkak:

php crawler.php

Selepas pelaksanaan, fail bernama data.xml akan dijana dalam direktori semasa, dalam yang Data dikikis daripada halaman web sasaran.

Langkah 4: Menghuraikan data XML
Kini, kami telah berjaya merangkak kandungan halaman web sasaran dan menyimpannya sebagai fail XML. Seterusnya, kita boleh menggunakan keupayaan penghuraian XML PHP untuk membaca dan memproses data ini.

Buat fail bernama parser.php dan tulis kod berikut di dalamnya:

// Buka fail XML
$xml = simplexml_load_file("data.xml");

// Traverse XML Data, kandungan output
foreach ($xml->item sebagai $item) {
echo $item->content . skrip parsing:

php parser.php

Selepas pelaksanaan, anda akan melihat data dibaca daripada fail XML pada baris arahan.

Kesimpulan:

Melalui contoh kod dalam artikel ini, kami berjaya melaksanakan perangkak web mudah dan menyimpan serta menghuraikan data yang dirangkak melalui fail XML. Melalui gabungan PHP dan XML, kami boleh mendapatkan dan memproses data rangkaian dengan lebih fleksibel, menyediakan alat yang berkuasa untuk pengumpulan dan analisis data. Sudah tentu, perangkak web hanyalah titik masuk dalam bidang pemprosesan dan analisis data yang besar. Kami boleh mengembangkan dan mengoptimumkan lagi berdasarkan ini untuk mencapai fungsi yang lebih kompleks dan berkuasa.

Atas ialah kandungan terperinci Perangkak web menggunakan PHP dan XML. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!