python - scrapy의 settings.py에서 USER_AGENT가 활성화되어 있어도 아무것도 수집할 수 없는 이유는 무엇입니까? 레벨을 닫으면 웹페이지를 수집할 수 있습니다.
바이두 티에바에서 수집
파이썬 2.7.11
스크래피 1.3.3
settings.py에서 user_agent가 활성화되어 있는 한 다음 방법 중 어떤 방법을 사용하든 상관 없습니다. 아무것도 고를 수 없었습니다.
그리고 이 user_agent를 끄세요. 모두 정상적으로 수집 가능합니다. 이게 이상한가요? 왜인지 모르시나요?
USER_AGENT = 'xxxxxxxxxxxxxxxxxxxxx'
또는 미들웨어 클래스 RotateUserAgentMiddleware(UserAgentMiddleware)를 작성하세요.
settings.py에서 설정
DOWNLOADER_MIDDLEWARES = {
으아악}
user_agent가 활성화되어 있는 한 아무것도 수집할 수 없습니다. 달리고 난 후. 다음 코드를 출력합니다:
으아악 으아악다음 중 어떤 방법을 사용해도 상관없습니다. 아무것도 고를 수 없었습니다.
그리고 이 user_agent를 끄세요. 모두 정상적으로 수집 가능합니다. 이게 이상한가요? 왜인지 모르시나요?
