Python의 요청 라이브러리를 사용하여 브라우저 방문을 가짜로 만드는 방법은 무엇입니까?

Python의 요청 라이브러리를 사용하여 브라우저 방문을 위장하는 방법

Python의 요청 패키지 또는 wget 명령과 같은 도구를 사용하여 프로그래밍 방식으로 웹 사이트에 액세스할 때 웹 브라우저를 통해 웹 사이트를 방문할 때와 비교하여 검색된 HTML 콘텐츠에 차이가 발생할 수 있습니다. 이러한 불일치는 웹사이트에서 실제 브라우저 방문과 자동화된 요청을 구별하는 메커니즘을 사용하는 경우가 많기 때문에 발생합니다.

이 문제를 극복하는 효과적인 접근 방식 중 하나는 "User-Agent" 헤더를 제공하여 합법적인 브라우저 방문을 시뮬레이션하는 것입니다. 귀하의 요청에. 이 헤더에는 사용 중인 특정 브라우저 및 버전에 대한 정보가 포함되어 있어 웹사이트에서 이를 사람이 시작한 방문으로 식별하는 데 도움이 됩니다.

Python의 요청 라이브러리를 사용하여 이 솔루션을 구현하려면 다음 단계를 따르세요.

1. 요청 모듈을 가져옵니다.
2. 원하는 웹사이트의 URL을 정의하세요. access.
3. 다음 키-값 쌍을 사용하여 헤더 사전을 만듭니다. 'User-Agent': 'Mozilla/5.0(Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36(KHTML, like Gecko) Chrome/ 39.0.2171.95 사파리/537.36'. 이는 Google Chrome의 일반적인 사용자 에이전트 문자열의 예입니다.
4. requests.get() 메소드를 사용하여 웹사이트에 GET 요청을 보내고 헤더 사전을 인수로 전달합니다.
5. 응답 개체에는 .content를 사용하여 액세스할 수 있는 HTML 콘텐츠가 포함되어 있습니다.

예 코드:

import requests

url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)
print(response.content)

참고로 다양한 브라우저에 대한 전체 사용자 에이전트 문자열 목록은 여기에서 확인할 수 있습니다.

[모든 브라우저 목록](https://deviceatlas.com/ blog/list-of-user-agent-strings)

또는 fake-useragent 타사 패키지를 활용할 수도 있습니다. 현실적인 사용자 에이전트 문자열을 생성하는 프로세스를 단순화합니다. 사용법 데모는 다음과 같습니다.

from fake_useragent import UserAgent

ua = UserAgent()
request_headers = {'User-Agent': ua.chrome}

위 내용은 Python의 요청 라이브러리를 사용하여 브라우저 방문을 가짜로 만드는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!