Python은 Baidu Encyclopedia 데이터를 크롤링합니다.
- 高洛峰원래의
- 2017-02-15 15:13:251395검색
크롤링 전략
목표 결정: 어느 웹사이트의 어느 페이지 데이터 중 어느 부분을 크롤링할지 결정합니다. 바이두백과사전 파이썬 항목 페이지와 파이썬 관련 항목 페이지의 제목과 소개를 캡쳐한 예시입니다.
분석 목표: 크롤링할 URL의 형식을 분석하고 크롤링 범위를 제한합니다. 캡처할 데이터의 형식을 분석합니다. 이 예에서는 제목과 소개라는 두 가지 데이터가 위치한 태그의 형식을 분석해야 합니다. 크롤링할 페이지 인코딩의 형식을 분석하십시오. 웹 페이지 구문 분석기 섹션에서 올바른 구문 분석을 수행하기 전에 웹 페이지 인코딩을 지정해야 합니다.
코드 작성: 웹페이지 파서 부분에서는 대상을 분석하여 얻은 결과를 활용해야 합니다.
크롤러 실행: 데이터 캡처를 수행합니다.
분석 목표
1. URL 형식
Baidu Encyclopedia Python 항목 페이지에 들어가세요. 페이지의 관련 항목에 대한 링크는 대부분 /view/xxx.htm입니다. 
2. 데이터 형식
제목은 lemmaWgt-lemmaTitle-title 클래스 아래 h1 하위 태그에 위치하고, 소개는 클래스 lemma-summary 아래에 위치합니다. 
3. 인코딩 형식
페이지 인코딩 형식인 utf-8을 확인하세요. 
위 분석 결과는 다음과 같습니다. 
코드 작성
프로젝트 구조
sublime에서 프로젝트 루트 디렉터리로 baike-spider라는 새 폴더를 만듭니다.
크롤러 마스터 스케줄러로 새 spider_main.py를 만듭니다.
URL 관리자로 새 url_manger.py를 만듭니다.
html 다운로더로 새 html_downloader.py를 만듭니다.
html 파서로 새 html_parser.py를 만듭니다.
데이터 쓰기 도구로 새 html_outputer.py를 만듭니다.
최종 프로젝트 구조는 다음과 같습니다. 
spider_main.py
# coding:utf-8
import url_manager, html_downloader, html_parser, html_outputer
class SpiderMain(object):
def __init__(self):
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.outputer = html_outputer.HtmlOutputer()
def craw(self, root_url):
count = 1
self.urls.add_new_url(root_url)
while self.urls.has_new_url():
try:
new_url = self.urls.get_new_url()
print('craw %d : %s' % (count, new_url))
html_cont = self.downloader.download(new_url)
new_urls, new_data = self.parser.parse(new_url, html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
if count == 10:
break
count = count + 1
except:
print('craw failed')
self.outputer.output_html()
if __name__=='__main__':
root_url = 'http://baike.baidu.com/view/21087.htm'
obj_spider = SpiderMain()
obj_spider.craw(root_url)
url_manger.py
# coding:utf-8 class UrlManager(object): def __init__(self): self.new_urls = set() self.old_urls = set() def add_new_url(self, url): if url is None: return if url not in self.new_urls and url not in self.old_urls: self.new_urls.add(url) def add_new_urls(self, urls): if urls is None or len(urls) == 0: return for url in urls: self.add_new_url(url) def has_new_url(self): return len(self.new_urls) != 0 def get_new_url(self): new_url = self.new_urls.pop() self.old_urls.add(new_url) return new_url
html_downloader.py
# coding:utf-8 import urllib.request class HtmlDownloader(object): def download(self, url): if url is None: return None response = urllib.request.urlopen(url) if response.getcode() != 200: return None return response.read()
html_parser.py
# coding:utf-8
from bs4 import BeautifulSoup
import re
from urllib.parse import urljoin
class HtmlParser(object):
def _get_new_urls(self, page_url, soup):
new_urls = set()
# /view/123.htm
links = soup.find_all('a', href=re.compile(r'/view/\d+\.htm'))
for link in links:
new_url = link['href']
new_full_url = urljoin(page_url, new_url)
# print(new_full_url)
new_urls.add(new_full_url)
#print(new_urls)
return new_urls
def _get_new_data(self, page_url, soup):
res_data = {}
# url
res_data['url'] = page_url
# <dd class="lemmaWgt-lemmaTitle-title"> <h1>Python</h1>
title_node = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1')
res_data['title'] = title_node.get_text()
# <p class="lemma-summary" label-module="lemmaSummary">
summary_node = soup.find('p', class_='lemma-summary')
res_data['summary'] = summary_node.get_text()
# print(res_data)
return res_data
def parse(self, page_url, html_cont):
if page_url is None or html_cont is None:
return
soup = BeautifulSoup(html_cont, 'html.parser')
# print(soup.prettify())
new_urls = self._get_new_urls(page_url, soup)
new_data = self._get_new_data(page_url, soup)
# print('mark')
return new_urls, new_data
html_outputer.py
# coding:utf-8
class HtmlOutputer(object):
def __init__(self):
self.datas = []
def collect_data(self, data):
if data is None:
return
self.datas.append(data)
def output_html(self):
fout = open('output.html','w', encoding='utf-8')
fout.write('<html>')
fout.write('<body>')
fout.write('<table>')
for data in self.datas:
fout.write('<tr>')
fout.write('<td>%s</td>' % data['url'])
fout.write('<td>%s</td>' % data['title'])
fout.write('<td>%s</td>' % data['summary'])
fout.write('</tr>')
fout.write('</table>')
fout.write('</body>')
fout.write('</html>')
fout.close()
실행
명령줄에서 python spider_main.py을 실행하세요.
인코딩 문제
문제 설명: UnicodeEncodeError: 'gbk' 코덱이 위치에 'xa0' 문자를 인코딩할 수 없습니다...
Python을 사용하여 파일을 작성할 때 또는 네트워크 데이터 스트림을 로컬 파일에 쓸 때 대부분의 경우 이 문제가 발생합니다. 이 문제를 해결하는 방법에 대한 유사한 기사가 인터넷에 많이 있지만 이는 인코딩 및 디코딩에 지나지 않습니다. 이것이 이 문제의 실제 원인입니까? 아니요. 여러번 디코드와 인코드를 사용하고, utf8, utf-8, gbk, gb2312 등 다양한 인코딩을 시도합니다. 모든 인코딩을 시도했지만 여전히 오류가 발생하여 답답합니다.
Windows에서 Python 스크립트를 작성할 때 코딩 문제가 매우 심각합니다. 네트워크 데이터 스트림을 파일에 쓸 때 다음과 같은 여러 인코딩을 만나게 됩니다:
1. #encoding='XXX'
여기서 인코딩(즉, Python 파일의 첫 번째 줄의 내용)은 Python을 나타냅니다. script 파일 자체의 인코딩은 중요하지 않습니다. XXX의 인코딩과 파일 자체가 동일하다면 괜찮습니다.
예를 들어 notepad++의 "형식" 메뉴에서 다양한 인코딩을 설정할 수 있습니다. 이 경우 메뉴에서 설정한 인코딩이 XXX 인코딩과 동일한지 확인해야 합니다. 보고됩니다.
2. 네트워크 데이터 스트림의 인코딩
예를 들어 웹 페이지를 얻은 경우 네트워크 데이터 스트림의 인코딩은 웹 페이지의 인코딩입니다. 유니코드 인코딩으로 디코딩하려면 디코드를 사용해야 합니다.
3. 대상 파일의 인코딩
네트워크 데이터 스트림을 새 파일에 씁니다. 파일 작성 코드는 다음과 같습니다.
fout = open('output.html','w')
fout.write(str)
Windows에서는 새 파일의 기본 인코딩입니다. gbk, python 인터프리터는 네트워크 데이터 스트림 str을 구문 분석하기 위해 gbk 인코딩을 사용합니다. 그러나 str은 디코딩된 유니코드 인코딩이므로 구문 분석이 불가능하고 위의 문제가 발생합니다. 해결책은 대상 파일의 인코딩을 변경하는 것입니다:
fout = open('output.html','w', encoding='utf-8')
运行结果
更多Python抓取百度百科数据 相关文章请关注PHP中文网！