찾다

 >  Q&A  >  본문

网页爬虫 - python+selenium+firefox爬虫,页面元素可以定位到,但是打印page_source却显示不出来该元素?爬虫

用python+selenium+firefox爬取网易云音乐指定音乐精彩评论,switch到iframe了,也可以定位到该元素,但是我打印driver.page_source却显示不全?


driver = webdriver.Firefox()
driver.maximize_window()
driver.set_page_load_timeout(10)

try:
    driver.get("http://music.163.com/#/song?id=31877470")
except selenium.common.exceptions.TimeoutException:
    print("time out of 10 s")
    driver.execute_script('window.stop()')

print("休眠结束")
driver.switch_to.frame("contentFrame")
time.sleep(5)
print(driver.find_element_by_id('comment-box').text)
bsObj = BeautifulSoup(driver.page_source)
print(driver.page_source)   

这时候能通过driver输出精彩评论:

这是输出的page_source的部分截图,可以看到在p id="comment-box"后并没有精彩评论的内容,这部分源码没有。

阿神阿神2802일 전1595

모든 응답(3)나는 대답할 것이다

  • 怪我咯

    怪我咯2017-04-18 10:04:58

    으아악

    회신하다
    0
  • 黄舟

    黄舟2017-04-18 10:04:58

    귀하의 코드를 실행한 결과 작동하는 것으로 확인되었습니다. 스크린샷을 보시면 p id="comment-box" 에 손자가 몇세대인지 아시는분 계시죠

    회신하다
    0
  • 怪我咯

    怪我咯2017-04-18 10:04:58

    Driver.page_source 메소드를 사용하여 APP에 포함된 webView의 소스 코드를 얻을 수 있습니까? 많은 태그도 비어 있습니까? 그것을 처리하는 방법?

    회신하다
    0
  • 취소회신하다