搜尋

首頁  >  問答  >  主體

利用python的scrapy框架中的css选择器获取不到元素内容

利用python中的scrapy框架的css选择器对具体标签内容进行获取,但是获取不到内容。
当前网页源码(是js渲染之前的代码):

css选择器代码:urllist = response.css('ul.nav li a::attr(href)')[0::3].extract()
运行结果是:
urllist===================[]
urllist长度============ 0
css选择器内的代码应该是没有错误的,为什么获取不到内容?
由于怀疑是css选择器出现了问题,因此替换xpath选择器,
xpath选择器代码:urllist=response.xpath('//ul[@class ="nav"]/li/a/@href').extract()
但是运行结果和css选择器相同。内容仍为空,长度为0

高洛峰高洛峰2769 天前788

全部回覆(2)我來回復

  • PHP中文网

    PHP中文网2017-04-18 10:14:41

    或許你的問題不是出在css選擇器程式碼上,檢查下response內容是否與網頁上看到的內容一致

    回覆
    0
  • ringa_lee

    ringa_lee2017-04-18 10:14:41

    你試試在命令列裡面使用scrapy shell 加目標url 然後可以得到一個response對象,先看下這個response對像是否是正常的,可以先看下response.body,看下是不是你想要爬取的網頁的源碼
    然後用這個response物件去調試你的css選擇器的程式碼

    回覆
    0
  • 取消回覆