搜索

首页  >  问答  >  正文

selenium - 请教一下 Python 爬虫工具

1)我要抓的是 Instagram 某明星的粉丝
2)Instagram pc 站使用了大量的 js 渲染
3)没写过爬虫,老板明天就要数据

我目前使用的是BeautifulSoup, seleniumphantomjs

代码 demo 大概是

driver = webdriver.PhantomJS(self.browser)
driver.get(self.url)
driver.implicitly_wait(3)
element = driver.find_element_by_class_name("_s53mj")
element.click()
html =  driver.page_source
soup =  BeautifulSoup(html)

问题是:
1) 我不知道click 有没有执行成功, click 的元素对不对, driver 好像没有返回值给我参考
2) 即使 click 成功了, 但是他是不是只调了 js里的 click() 方法,并没有触发 target 怎么办
3)我不知道是先渲染page_source, 还是 应该先 click, 假设执行成功了 click, 是不是也不会再 source 里返回了

啊, 谢各位爬虫大佬了

阿神阿神2710 天前998

全部回复(1)我来回复

  • 我想大声告诉你

    我想大声告诉你2017-06-28 09:24:20

    说的是什么意思?百思不得其解啊。。。

    selenium自动化,click能模仿用户点击,就跟你自己在页面上点击一样,一切都在虚拟浏览器驱动中进行。

    看你的业务逻辑啊。。。比如有些数据要点击后才有,那就先click再获取源代码。

    回复
    0
  • 取消回复