Bagaimana untuk mendapatkan data aplikasi masa nyata dan data penonton di halaman kerja 58.com?

Bagaimana cara menggunakan crawler untuk mendapatkan data masa nyata 58.com Page Recruitment?

Apabila merangkak maklumat pengambilan 58.com, anda sering menghadapi masalah: bilangan pemohon dan penonton yang dipaparkan pada halaman dikemas kini dalam masa nyata, tetapi kod sumber laman web dipaparkan sebagai 0. Namun, panel Elements dalam alat pemaju pelayar (F12) memaparkan data yang betul. Ini kerana 58.com menggunakan teknologi AJAX untuk memuatkan data secara asynchronously. Artikel ini akan membimbing anda tentang cara mendapatkan data dinamik ini.

Analisis masalah

Mengambil kedudukan perubatan di Beijing sebagai contoh, halaman memaparkan bilangan pemohon dan penonton dalam masa nyata, tetapi data dalam kod sumber sentiasa 0, dan data panel elemen F12 adalah konsisten dengan halaman. Mengekstrak data secara langsung dari kod sumber tidak berfungsi.

Penyelesaian

Data halaman dimuatkan secara asynchronously melalui permintaan Ajax, dan kami perlu mencari dan merebut data JSON untuk permintaan ini.

Selepas analisis, 58.com menggunakan antara muka API tertentu untuk menyediakan data ini. Contohnya:

 <code>https://statisticszp.58.com/position/totalcount/?infoId=27988...</code>

Antara muka ini mengembalikan data JSON, sebagai contoh:

 {
  "DeliveryCount": 1141,
  "CommentCount": 0,
  "Infocount": 4,
  "resumeReadpercent": 0,
  "Rujukan": "",
  "Nexturl": "Null"
}

Di mana "deliveryCount" mewakili bilangan pemohon, dan "infoCount" mewakili bilangan pelawat.

Langkah operasi

1. Posisi Permintaan AJAX: Gunakan Alat Pemaju Penyemak Imbas (F12) untuk mencari permintaan AJAX yang berkaitan dengan data dinamik halaman dalam panel rangkaian.
2. Hantar permintaan API: Gunakan alat crawler (seperti Perpustakaan requests Python) untuk menghantar permintaan mendapatkan ke antara muka API di atas.
3. Menganalisis data JSON: Ekstrak medan "deliveryCount" dan "infoCount" dari data JSON yang dikembalikan, yang merupakan bilangan pemohon dan penonton dalam masa nyata.

Melalui langkah-langkah di atas, anda boleh berjaya mendapatkan aplikasi masa nyata dan data penonton halaman pengambilan 58.com. Sila ambil perhatian bahawa parameter infoId perlu diganti mengikut halaman pengambilan sasaran. Untuk mengelakkan tekanan yang berlebihan pada pelayan, sila mengawal kekerapan merangkak.

Atas ialah kandungan terperinci Bagaimana untuk mendapatkan data aplikasi masa nyata dan data penonton di halaman kerja 58.com?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!