html – „DNS-Suche fehlgeschlagen“ erscheint beim Crawlen, aber es gibt kein Problem beim Öffnen der Webseite. Was passiert?

Question

RT, beim Crawlen mit Python war am Anfang alles normal, aber plötzlich blieb die Webseite hängen, nachdem sie eine Weile gewartet hatte. Beim erneuten Crawlen wird jedoch „DNS-Suche“ gemeldet fehlgeschlagen". Ich habe viele Websites und Webseiten ausprobiert. Aber es öffnet sich normal.

Bitte nennen Sie mir die Gründe und Lösungen. Knie nieder und danke! !

Answer 1

DNS lookup failed ： address "http" not found

http是协议，不是地址的一部分，所以DNS解析失败，从这方面去着手吧。

比如要解析百度的网址:
正确的地址: www.baidu.com
错误的地址：http://www.baidu.com