前言
关于python版本,我一开始看很多资料说python2比较好,因为很多库还不支持3,但是使用到现在为止觉得还是pythin3比较好用,因为编码什么的问题,觉得2还是没有3方便。而且在网上找到的2中的一些资料稍微改一下也还是可以用。
好了,开始说爬百度百科的事。
这里设定的需求是爬取北京地区n个景点的全部信息,n个景点的名称是在文件中给出的。没有用到api,只是单纯的爬网页信息。
1、根据关键字获取url
由于只需要爬取信息,而且不涉及交互,可以使用简单的方法而不需要模拟浏览器。
可以直接
<strong>http://www.php.cn/"guanjianci"</strong>
<strong>for </strong>l <strong>in </strong>view_names: <strong>'''http://baike.baidu.com/search/word?word=''' </strong><em># 得到url的方法 </em><em> </em>name=urllib.parse.quote(l) name.encode(<strong>'utf-8'</strong>) url=<strong>'http://baike.baidu.com/search/word?word='</strong>+name
这里要注意关键词是中午所以要注意编码问题,由于url中不能出现空格,所以需要用quote
函数处理一下。
关于quote():
在 Python2.x 中的用法是:urllib.quote(text)
。Python3.x 中是urllib.parse.quote(text)
。按照标准,URL只允许一部分ASCII 字符(数字字母和部分符号),其他的字符(如汉字)是不符合URL标准的。所以URL中使用其他字符就需要进行URL编码。URL中传参数的部分(query String),格式是:name1=value1&name2=value2&name3=value3
。假如你的name或者value值中的『&』或者『=』等符号,就当然会有问题。所以URL中的参数字符串也需要把『&=』等符号进行编码。URL编码的方式是把需要编码的字符转化为%xx的形式。通常URL编码是基于UTF-8的(当然这和浏览器平台有关)
例子:
比如『我,unicode 为 0x6211,UTF-8编码为0xE60x880x91,URL编码就是 %E6%88%91。
Python的urllib库中提供了quote
和quote_plus
两种方法。这两种方法的编码范围不同。不过不用深究,这里用quote
就够了。
2、下载url
用urllib库轻松实现,见下面的代码中def download(self,url)
3、利用Beautifulsoup获取html
4、数据分析
百科中的内容是并列的段,所以在爬的时候不能自然的按段逻辑存储(因为全都是并列的)。所以必须用正则的方法。
基本的想法就是把整个html文件看做是str,然后用正则的方法截取想要的内容,在重新把这段内容转换成beautifulsoup
对象,然后在进一步处理。
可能要花些时间看一下正则。
代码中还有很多细节,忘了再查吧只能,下次绝对应该边做编写文档,或者做完马上写。。。
贴代码!
# coding:utf-8 ''' function:爬取百度百科所有北京景点, author:yi ''' import urllib.request from urllib.request import urlopen from urllib.error import HTTPError import urllib.parse from bs4 import BeautifulSoup import re import codecs import json class BaikeCraw(object): def __init__(self): self.urls =set() self.view_datas= {} def craw(self,filename): urls = self.getUrls(filename) if urls == None: print("not found") else: for urll in urls: print(urll) try: html_count=self.download(urll) self.passer(urll, html_count) except: print("view do not exist") '''file=self.view_datas["view_name"] self.craw_pic(urll,file,html_count) print(file)''' def getUrls (self, filename): new_urls = set() file_object = codecs.open(filename, encoding='utf-16', ) try: all_text = file_object.read() except: print("文件打开异常!") file_object.close() file_object.close() view_names=all_text.split(" ") for l in view_names: if '?' in l: view_names.remove(l) for l in view_names: '''http://baike.baidu.com/search/word?word=''' # 得到url的方法 name=urllib.parse.quote(l) name.encode('utf-8') url='http://baike.baidu.com/search/word?word='+name new_urls.add(url) print(new_urls) return new_urls def manger(self): pass def passer(self,urll,html_count): soup = BeautifulSoup(html_count, 'html.parser', from_encoding='utf_8') self._get_new_data(urll, soup) return def download(self,url): if url is None: return None response = urllib.request.urlopen(url) if response.getcode() != 200: return None return response.read() def _get_new_data(self, url, soup): ##得到数据 if soup.find('p',class_="main-content").find('h1') is not None: self.view_datas["view_name"]=soup.find('p',class_="main-content").find('h1').get_text()#景点名 print(self.view_datas["view_name"]) else: self.view_datas["view_name"] = soup.find("p", class_="feature_poster").find("h1").get_text() self.view_datas["view_message"] = soup.find('p', class_="lemma-summary").get_text()#简介 self.view_datas["basic_message"]=soup.find('p', class_="basic-info cmn-clearfix").get_text() #基本信息 self.view_datas["basic_message"]=self.view_datas["basic_message"].split("\n") get=[] for line in self.view_datas["basic_message"]: if line != "": get.append(line) self.view_datas["basic_message"]=get i=1 get2=[] tmp="%%" for line in self.view_datas["basic_message"]: if i % 2 == 1: tmp=line else: a=tmp+":"+line get2.append(a) i=i+1 self.view_datas["basic_message"] = get2 self.view_datas["catalog"] = soup.find('p', class_="lemma-catalog").get_text().split("\n")#目录整体 get = [] for line in self.view_datas["catalog"]: if line != "": get.append(line) self.view_datas["catalog"] = get #########################百科内容 view_name=self.view_datas["view_name"] html = urllib.request.urlopen(url) soup2 = BeautifulSoup(html.read(), 'html.parser').decode('utf-8') p = re.compile(r'', re.DOTALL) # 尾 r = p.search(content_data_node) content_data = content_data_node[0:r.span(0)[0]] lists = content_data.split('') i = 1 for list in lists:#每一大块 final_soup = BeautifulSoup(list, "html.parser") name_list = None try: part_name = final_soup.find('h2', class_="title-text").get_text().replace(view_name, '').strip() part_data = final_soup.get_text().replace(view_name, '').replace(part_name, '').replace('编辑', '') # 历史沿革 name_list = final_soup.findAll('h3', class_="title-text") all_name_list = {} na="part_name"+str(i) all_name_list[na] = part_name final_name_list = []########### for nlist in name_list: nlist = nlist.get_text().replace(view_name, '').strip() final_name_list.append(nlist) fin="final_name_list"+str(i) all_name_list[fin] = final_name_list print(all_name_list) i=i+1 #正文 try: p = re.compile(r'', re.DOTALL) final_soup = final_soup.decode('utf-8') r = p.search(final_soup) final_part_data = final_soup[r.span(0)[0]:] part_lists = final_part_data.split('') for part_list in part_lists: final_part_soup = BeautifulSoup(part_list, "html.parser") content_lists = final_part_soup.findAll("p", class_="para") for content_list in content_lists: # 每个最小段 try: pic_word = content_list.find("p", class_="lemma-picture text-pic layout-right").get_text() # 去掉文字中的图片描述 try: pic_word2 = content_list.find("p", class_="description").get_text() # 去掉文字中的图片描述 content_list = content_list.get_text().replace(pic_word, '').replace(pic_word2, '') except: content_list = content_list.get_text().replace(pic_word, '') except: try: pic_word2 = content_list.find("p", class_="description").get_text() # 去掉文字中的图片描述 content_list = content_list.get_text().replace(pic_word2, '') except: content_list = content_list.get_text() r_part = re.compile(r'\[\d.\]|\[\d\]') part_result, number = re.subn(r_part, "", content_list) part_result = "".join(part_result.split()) #print(part_result) except: final_part_soup = BeautifulSoup(list, "html.parser") content_lists = final_part_soup.findAll("p", class_="para") for content_list in content_lists: try: pic_word = content_list.find("p", class_="lemma-picture text-pic layout-right").get_text() # 去掉文字中的图片描述 try: pic_word2 = content_list.find("p", class_="description").get_text() # 去掉文字中的图片描述 content_list = content_list.get_text().replace(pic_word, '').replace(pic_word2, '') except: content_list = content_list.get_text().replace(pic_word, '') except: try: pic_word2 = content_list.find("p", class_="description").get_text() # 去掉文字中的图片描述 content_list = content_list.get_text().replace(pic_word2, '') except: content_list = content_list.get_text() r_part = re.compile(r'\[\d.\]|\[\d\]') part_result, number = re.subn(r_part, "", content_list) part_result = "".join(part_result.split()) #print(part_result) except: print("error") return def output(self,filename): json_data = json.dumps(self.view_datas, ensure_ascii=False, indent=2) fout = codecs.open(filename+'.json', 'a', encoding='utf-16', ) fout.write( json_data) # print(json_data) return def craw_pic(self,url,filename,html_count): soup = BeautifulSoup(html_count, 'html.parser', from_encoding='utf_8') node_pic=soup.find('p',class_='banner').find("a", href=re.compile("/photo/poi/....\.")) if node_pic is None: return None else: part_url_pic=node_pic['href'] full_url_pic=urllib.parse.urljoin(url,part_url_pic) #print(full_url_pic) try: html_pic = urlopen(full_url_pic) except HTTPError as e: return None soup_pic=BeautifulSoup(html_pic.read()) pic_node=soup_pic.find('p',class_="album-list") print(pic_node) return if __name__ =="__main__" : spider=BaikeCraw() filename="D:\PyCharm\\view_spider\\view_points_part.txt" spider.craw(filename)
总结
用python3根据关键词爬取百度百科的内容到这就基本结束了,希望这篇文章能对大家学习python有所帮助。
更多python3根据关键词爬取百度百科的内容相关文章请关注PHP中文网!

Python과 C는 각각 고유 한 장점이 있으며 선택은 프로젝트 요구 사항을 기반으로해야합니다. 1) Python은 간결한 구문 및 동적 타이핑으로 인해 빠른 개발 및 데이터 처리에 적합합니다. 2) C는 정적 타이핑 및 수동 메모리 관리로 인해 고성능 및 시스템 프로그래밍에 적합합니다.

Python 또는 C를 선택하는 것은 프로젝트 요구 사항에 따라 다릅니다. 1) 빠른 개발, 데이터 처리 및 프로토 타입 설계가 필요한 경우 Python을 선택하십시오. 2) 고성능, 낮은 대기 시간 및 근접 하드웨어 제어가 필요한 경우 C를 선택하십시오.

매일 2 시간의 파이썬 학습을 투자하면 프로그래밍 기술을 효과적으로 향상시킬 수 있습니다. 1. 새로운 지식 배우기 : 문서를 읽거나 자습서를 시청하십시오. 2. 연습 : 코드를 작성하고 완전한 연습을합니다. 3. 검토 : 배운 내용을 통합하십시오. 4. 프로젝트 실무 : 실제 프로젝트에서 배운 것을 적용하십시오. 이러한 구조화 된 학습 계획은 파이썬을 체계적으로 마스터하고 경력 목표를 달성하는 데 도움이 될 수 있습니다.

2 시간 이내에 Python을 효율적으로 학습하는 방법 : 1. 기본 지식을 검토하고 Python 설치 및 기본 구문에 익숙한 지 확인하십시오. 2. 변수, 목록, 기능 등과 같은 파이썬의 핵심 개념을 이해합니다. 3. 예제를 사용하여 마스터 기본 및 고급 사용; 4. 일반적인 오류 및 디버깅 기술을 배우십시오. 5. 목록 이해력 사용 및 PEP8 스타일 안내서와 같은 성능 최적화 및 모범 사례를 적용합니다.

Python은 초보자 및 데이터 과학에 적합하며 C는 시스템 프로그래밍 및 게임 개발에 적합합니다. 1. 파이썬은 간단하고 사용하기 쉽고 데이터 과학 및 웹 개발에 적합합니다. 2.C는 게임 개발 및 시스템 프로그래밍에 적합한 고성능 및 제어를 제공합니다. 선택은 프로젝트 요구와 개인적인 이익을 기반으로해야합니다.

Python은 데이터 과학 및 빠른 개발에 더 적합한 반면 C는 고성능 및 시스템 프로그래밍에 더 적합합니다. 1. Python Syntax는 간결하고 학습하기 쉽고 데이터 처리 및 과학 컴퓨팅에 적합합니다. 2.C는 복잡한 구문을 가지고 있지만 성능이 뛰어나고 게임 개발 및 시스템 프로그래밍에 종종 사용됩니다.

파이썬을 배우기 위해 하루에 2 시간을 투자하는 것이 가능합니다. 1. 새로운 지식 배우기 : 목록 및 사전과 같은 1 시간 안에 새로운 개념을 배우십시오. 2. 연습 및 연습 : 1 시간을 사용하여 소규모 프로그램 작성과 같은 프로그래밍 연습을 수행하십시오. 합리적인 계획과 인내를 통해 짧은 시간에 Python의 핵심 개념을 마스터 할 수 있습니다.

Python은 배우고 사용하기 쉽고 C는 더 강력하지만 복잡합니다. 1. Python Syntax는 간결하며 초보자에게 적합합니다. 동적 타이핑 및 자동 메모리 관리를 사용하면 사용하기 쉽지만 런타임 오류가 발생할 수 있습니다. 2.C는 고성능 응용 프로그램에 적합한 저수준 제어 및 고급 기능을 제공하지만 학습 임계 값이 높고 수동 메모리 및 유형 안전 관리가 필요합니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

mPDF
mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

DVWA
DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
