python - 크롤러가 로그인을 시뮬레이션한 후 csdn 배경 기사 목록을 크롤링할 때 문제가 발생했습니다.
크롤러는 실제로 로그인을 했는데요, 개인정보를 크롤링 할 수 있어서 캡쳐가 가능하지만, 아래 사진의 URL은 캡쳐가 불가능합니다:
URL은 http://write.blog.csdn.net/postlist이며 csdn 백엔드입니다.
코드를 게시하겠습니다. py2.7용입니다
으아악위 코드의 출력은
으아악크롤러는 실제로 로그인을 했는데요, 개인정보를 크롤링 할 수 있어서 캡쳐가 가능하지만, 아래 사진의 URL은 캡쳐가 불가능합니다:
URL은 http://write.blog.csdn.net/postlist이며 csdn 백엔드입니다.
코드를 게시하겠습니다. py2.7용입니다
으아악위 코드의 출력은
으아악
高洛峰2017-05-18 10:53:59
이 주소는 302 점프를 반환하므로 반환된 헤더의 위치를 기반으로 요청을 계속한 다음 반환된 콘텐츠를 분석하여 처리를 계속해야 합니다. 브라우저는 이러한 302 점프를 수행하고 반환된 js 및 기타 항목을 실행하는 데 도움이 됩니다. 콘텐츠를 직접 캡처하고 수동으로 처리해야 합니다.
