Python은 헤더 데이터를 위장하여 안티 크롤러에 저항합니다.

이 글에서는 Python이 헤더 데이터를 위장하여 안티 크롤러에 저항하는 방법을 주로 소개합니다. 이제 모든 사람과 공유합니다. 도움이 필요한 친구들이 참조할 수 있습니다

0x00 환경

시스템 환경: win10 Writing Tool : JetBrains Pycharm Community Edition 2017.1.2 x64 xpython 버전 : Python-3.6.2

Packet Capture Tool : Fiddler 4

0X01 HTTP를 통해 서버에 제출 된 Idea에 제출했습니다. 데이터, 다음은 Fiddler

GET /u012870721 HTTP/1.1
Accept-Encoding: identity
Host: blog.csdn.net
User-Agent: <span style="color:#ff0000;">Python-urllib/3.6</span>
Connection: close

Python-urllib/3.6

를 통해 Python에서 캡처한 위장되지 않은 패킷 헤더 정보입니다. 이제 묻고 싶습니다. 어떻게 해야 할까요? 브라우저를 시뮬레이션하고 브라우저인 것처럼 가장합니다.

Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
Referer: http://write.blog.csdn.net/postlist
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.8

관련 권장 사항:

Centos Python 프로덕션 환경을 위한 일부 배포 명령

위 내용은 Python은 헤더 데이터를 위장하여 안티 크롤러에 저항합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!