suchen

Heim  >  Fragen und Antworten  >  Hauptteil

Python – Scrapy erfasst doppelten Inhalt der CNKI-Antwort

Überqueren Sie die URL, um das Umblättern anzufordern

for i in range(3):
    yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)

Das Ergebnis ist, dass die Antwortanforderung erfolgreich ist, der Inhalt jedoch jedes Mal derselbe ist. Bei der Verwendung von Postman zum separaten Anfordern der paginierten URLs tritt dieses Problem jedoch nicht auf. = = Wurdest du gesperrt? So war es noch nie

黄舟黄舟2793 Tage vor1012

Antworte allen(3)Ich werde antworten

  • 怪我咯

    怪我咯2017-06-30 09:57:07

    那就要分析一下用postman或者浏览器访问时请求的header头和用scrapy请求头有什么区别

    Antwort
    0
  • 三叔

    三叔2017-06-30 09:57:07

    被反爬识别到了

    Antwort
    0
  • PHP中文网

    PHP中文网2017-06-30 09:57:07

    看下控制台打印的log，看看是否正确抓取了下一页
    2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,
    注意最后一个x(http:xx/page/x)是否是变化的

    Antwort
    0
  • StornierenAntwort