RT, Python을 사용하여 크롤링을 하면 처음에는 모든 것이 정상이었는데 갑자기 웹페이지가 멈췄습니다. 잠시 기다린 후 다시 정상으로 돌아왔습니다. 그런데 이때 다시 크롤링을 하면 "DNS 조회"가 보고됩니다. 실패했습니다. 많은 웹사이트와 웹페이지를 시도했지만 정상적으로 열립니다.
이유와 해결책을 알려주세요. 무릎을 꿇고 감사합니다! !
伊谢尔伦2017-06-14 10:52:53
으아악
http는 주소의 일부가 아닌 프로토콜이므로 DNS 확인이 실패합니다.
예를 들어 Baidu의 웹사이트 주소를 구문 분석하려는 경우:
올바른 주소: www.baidu.com
잘못된 주소: http://www.baidu.com