python2 및 python3을 사용하여 브라우저를 위장하고 웹 콘텐츠를 크롤링합니다.

Python 웹페이지 크롤링 기능은 매우 강력합니다. urllib 또는 urllib2를 사용하면 웹페이지 콘텐츠를 쉽게 크롤링할 수 있습니다. 하지만 많은 웹사이트에는 수집 방지 기능이 있을 수 있으므로 원하는 콘텐츠를 캡처하기가 쉽지 않다는 사실에 주의해야 할 경우가 많습니다.

오늘은 python2, python3 다운로드 시 차단과 크롤링을 건너뛰도록 브라우저를 시뮬레이션하는 방법을 공유하겠습니다.

가장 기본적인 크롤링:

#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @Author pythontab
import urllib.request
url = "http://www.pythontab.com"
html = urllib.request.urlopen(url).read(）
print(html)

하지만... 일부 웹사이트는 크롤링이 불가능하고 수집 방지 설정이 있어서 방법을 바꿔야 합니다

python2 Medium (최신 안정 버전 python2.7)

#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @Author pythontab.com
import urllib2
url="http://pythontab.com"
req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
             'Accept':'text/html;q=0.9,*/*;q=0.8',
             'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
             'Accept-Encoding':'gzip',
             'Connection':'close',
             'Referer':None #注意如果依然不能抓取的话，这里可以设置抓取网站的host
             }
req_timeout = 5
req = urllib2.Request(url,None,req_header)
resp = urllib2.urlopen(req,None,req_timeout)
html = resp.read()
print(html)

python3 Medium (최신 안정 버전 python3.3)

#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @Author pythontab
import urllib.request
  
url = "http://www.pythontab.com"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
             'Accept':'text/html;q=0.9,*/*;q=0.8',
             'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
             'Accept-Encoding':'gzip',
             'Connection':'close',
             'Referer':None #注意如果依然不能抓取，这里可以设置抓取网站的host
             }
  
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)