cari

Rumah  >  Soal Jawab  >  teks badan

javascript - nod merangkak Weibo

Saya baru mengenali nod dan ingin menulis perangkak untuk merangkak ulasan Sina Weibo, tetapi saya mendapati halaman itu dijana secara dinamik oleh JS dan tidak boleh dirangkak dengan modul http, jadi saya menggunakan phantomjs untuk merangkaknya (saya dengar ia akan menjadi lebih perlahan, jadi saya menjalankannya Hampir 15 minit, ini terlalu perlahan, saya tidak tahu jika saya menulisnya salah), tetapi ia masih tidak berfungsi. Adakah terdapat sebarang cara untuk merangkak halaman web yang serupa dengan Sina Weibo?

let page=require("webpage").create();
let url="http://weibo.com/1713926427/Etq2WnSiR?filter=hot&root_comment_id=0&type=comment";
/*page.settings = {
    javascriptEnabled: true,
    loadImages: false,
    webSecurityEnabled: false,
    userAgent: 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER'
};*/
page.open(url,(status)=>{
    console.log("Status:"+status);
    if(status=="success"){
        let val = page.evaluate(()=>{
            var list_box=document.querySelector(".list_box");
            console.log(list_box);
            return list_box
        });
        console.log(val)
    }else{
        console.log("failed")
    }
    phantom.exit();
});
仅有的幸福仅有的幸福2746 hari yang lalu1012

membalas semua(1)saya akan balas

  • 扔个三星炸死你

    扔个三星炸死你2017-06-30 10:02:08

    Saya telah menulis tentang merangkak Weibo. Terdapat dua idea

    1. Jika anda melihat dengan teliti, mesti ada antara muka untuk mendapatkan data yang sepadan dan kemudian gunakan ungkapan biasa untuk memadankannya

    2. Weibo menyediakan antara muka API pembangun, walaupun ia lebih menyusahkan untuk digunakan

    balas
    0
  • Batalbalas