>  Q&A  >  본문

利用python的scrapy框架中的css选择器获取不到元素内容

利用python中的scrapy框架的css选择器对具体标签内容进行获取,但是获取不到内容。
当前网页源码(是js渲染之前的代码):

css选择器代码:urllist = response.css('ul.nav li a::attr(href)')[0::3].extract()
运行结果是:
urllist===================[]
urllist长度============ 0
css选择器内的代码应该是没有错误的,为什么获取不到内容?
由于怀疑是css选择器出现了问题,因此替换xpath选择器,
xpath选择器代码:urllist=response.xpath('//ul[@class ="nav"]/li/a/@href').extract()
但是运行结果和css选择器相同。内容仍为空,长度为0

高洛峰高洛峰2721일 전735

모든 응답(2)나는 대답할 것이다

  • PHP中文网

    PHP中文网2017-04-18 10:14:41

    CSS 선택기 코드에 문제가 없을 수도 있습니다. 응답 내용이 웹페이지에 표시된 내용과 일치하는지 확인하세요.

    회신하다
    0
  • ringa_lee

    ringa_lee2017-04-18 10:14:41

    명령줄에서 scrapy Shell을 사용하여 대상 URL을 추가한 다음 응답 개체를 얻을 수 있습니다. 먼저 응답 개체가 정상인지 확인하려면 먼저 response.body를 확인하세요. 크롤링하여 웹페이지
    의 소스 코드를 가져온 다음 이 응답 개체를 사용하여 CSS 선택기

    의 코드를 디버깅하세요.

    회신하다
    0
  • 취소회신하다