selenium - Tanya tentang alat perangkak Python

Question

1) Apa yang saya ingin tangkap ialah peminat selebriti tertentu di Instagram
2) Laman PC Instagram menggunakan banyak rendering js
3) Saya tidak pernah menulis perangkak, dan bos akan memerlukan data esok

Saya sedang menggunakan BeautifulSoup, selenium 和phantomjs

Demo kod mungkin

driver = webdriver.PhantomJS(self.browser)
driver.get(self.url)
driver.implicitly_wait(3)
element = driver.find_element_by_class_name("_s53mj")
element.click()
html =  driver.page_source
soup =  BeautifulSoup(html)

Masalahnya ialah:
1) Saya tidak tahu sama ada klik berjaya dilaksanakan, sama ada elemen klik betul, pemacu nampaknya tidak mempunyai nilai pulangan untuk rujukan saya
2) Walaupun klik berjaya, adakah ia hanya melaraskan kaedah klik( dalam js ), apa yang perlu saya lakukan jika sasaran tidak dicetuskan
3) Saya tidak tahu sama ada ia dipaparkan dahulupage_source, 还是 应该先 click Jika klik berjaya dilaksanakan, adakah ia tidak akan dikembalikan ke sumber

Ah, terima kasih semua tuan reptilia

Answer 1

Apa maksud anda? saya hairan. . .

Automasi selenium, klik boleh meniru klik pengguna, sama seperti anda mengklik halaman sendiri, semuanya dilakukan dalam pemacu pelayar maya.

Lihat logik perniagaan anda. . . Sebagai contoh, beberapa data perlu diklik untuk mendapatkan, jadi klik dahulu dan kemudian dapatkan kod sumber.