소프트 시험 문제를 크롤링하기 위해 Python을 사용하는 IP 자동 프록시 방법에 대한 자세한 설명

최근 시험을 위해 인터넷에서 소프트 시험 문제를 캡처할 계획입니다. 캡처하는 동안 몇 가지 문제가 발생했습니다. 다음 기사는 주로 python소프트 시험 문제에 대한 IP 자동 프록시 관련 정보를 크롤링합니다. 기사에 매우 자세하게 소개되어 있습니다. 필요한 친구는 아래를 살펴보세요.

머리말

최근에는 소프트웨어 전문가 수준 시험이 있습니다. 이하 소프트 시험이라고 합니다. , www.rkpass.cn 에서 소프트 시험 문제를 가져올 계획입니다.

먼저 소프트 시험 문제(shi)를 크롤링하는 이야기(keng)를 말씀드리겠습니다.

현재 정보 시스템 감독관의 시험 문제 기록 30개를 모두 캡처할 수 있습니다.

캡처된 콘텐츠 사진:

일부 정보는 캡처할 수 있지만 코드 품질은 높지 않습니다. 예를 들어 정보시스템 감독관의 목표가 명확하기 때문에 시험지 정보를 단시간에 파악하기 위해 예외 처리를 하지 않았습니다. 어젯밤에 오랫동안 구덩이에 있었습니다.

오늘은 주제로 돌아와서 글을 쓰게 되었습니다. 기사 제목에서 알 수 있듯이요. 너무 여러 번 웹 사이트의 크롤러 방지 메커니즘에 의해 IP가 차단되었습니다.

살아있는 사람은 숨이 막혀 죽을 수 없습니다. 사회주의의 계승자로서 우리는 어려움에 굴복할 수 없으며, IP 문제를 해결하기 위해 IP 프록시

정보를 탐색하는 과정에서 나옵니다. , 크롤링 빈도가 웹사이트에 설정된 임계값을 초과하면 접근이 금지됩니다. 일반적으로 웹사이트의 크롤링 방지 메커니즘은 IP를 기반으로 식별됩니다

. 크롤러 개발자는 일반적으로 이 문제를 해결하기 위해 두 가지 방법을 취해야 합니다.

1. 크롤링 속도를 늦추고 대상 웹사이트에 대한 부담을 줄입니다. 2. 두 번째 방법은 크롤러 방지 메커니즘을 돌파하고 높은 빈도로 계속 크롤링하는 방법과 프록시 IP를 설정하는 것입니다.

말할 것도 별로 없고, 다음 코드로 가세요:

# IP地址取自国内髙匿代理IP网站：http://www.xicidaili.com/nn/
# 仅仅爬取首页IP地址就足够一般使用

from bs4 import BeautifulSoup
import requests
import random

#获取当前页面上的ip
def get_ip_list(url, headers):
 web_data = requests.get(url, headers=headers)
 soup = BeautifulSoup(web_data.text)
 ips = soup.find_all('tr')
 ip_list = []
 for i in range(1, len(ips)):
 ip_info = ips[i]
 tds = ip_info.find_all('td')
 ip_list.append(tds[1].text + ':' + tds[2].text)
 return ip_list

#从抓取到的Ip中随机获取一个ip
def get_random_ip(ip_list):
 proxy_list = []
 for ip in ip_list:
 proxy_list.append('http://' + ip)
 proxy_ip = random.choice(proxy_list)
 proxies = {'http': proxy_ip}
 return proxies

#国内高匿代理IP网主地址
url = 'http://www.xicidaili.com/nn/'
#请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}
#计数器，根据计数器来循环抓取所有页面的ip
num = 0
#创建一个数组，将捕捉到的ip存放到数组
ip_array = []
while num < 1537:
 num += 1
 ip_list = get_ip_list(url+str(num), headers=headers)
 ip_array.append(ip_list)
for ip in ip_array:
 print(ip)
#创建随机数，随机取到一个ip
# proxies = get_random_ip(ip_list)
# print(proxies)

실행 결과 스크린샷:

이런 식으로 크롤러가 요청하면, 요청 IP를 자동 IP로 설정하면 크롤러 방지 메커니즘의 단순 차단 및 고정 IP 방식을 효과적으로 피할 수 있습니다.

위 내용은 소프트 시험 문제를 크롤링하기 위해 Python을 사용하는 IP 자동 프록시 방법에 대한 자세한 설명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!