Python 크롤러 보조 도구 PyQuery 모듈의 설치 및 사용 가이드 소개
- 高洛峰원래의
- 2017-03-04 16:04:001796검색
이 글에서는 주로 Python 크롤러 보조 도구인 PyQuery 모듈의 설치 및 사용 가이드를 소개합니다. PyQuery는 HTML 콘텐츠를 쉽게 구문 분석할 수 있어 많은 크롤러 프로그램 개발자들이 참고할 수 있습니다.
Windows에서 설치:
다운로드 주소: https://pypi.python.org/pypi/pyquery/#downloads
다운로드 게시물 -설치:
C:\Python27>easy_install E:\python\pyquery-1.2.4.zip
온라인으로 직접 설치할 수도 있습니다:
C:\Python27>easy_install pyquery
pyquery는 jquery와 유사한 Python 라이브러리입니다. jquery와 같은 구문을 사용하여 웹 페이지의 데이터를 추출할 수 있습니다. 매우 훌륭한 타사 라이브러리입니다. pyquery의 용도를 살펴보겠습니다.
html 문자열에서 정보 추출
#!/usr/bin/python # -*- coding: utf-8 -*- from pyquery import PyQuery as pq html = ''' <html> <head> <title>this is title</title> </head> <body> <p id="hi">Hello, World</p> <p id="hi2">Nihao</p> <div class="class1"> <img src="1.jpg" /> </div> <ul> <li>list1</li> <li>list2</li> </ul> </body> </html> ''' d=pq(html) print d('title') # 相当于css选择器，根据html标签获取元素 print d('title').text() # text()方法获取当前选中的文本块 print d('#hi').text() # 相当于id选择器，直接根据id名获取元素 print d('p').filter('#hi2').text() # 可以根据id或class得到指定元素 print d('.class1') # 相当于class选择器 print d('.class1').html() # html()方法获取当前选中的html块 print d('.class1').find('img').attr('src') # 查找嵌套元素，并选中属性 print d('ul').find('li').eq(0).text() # 根据索引号获取多个相同html元素中的某一个 print d('ul').children() # 获取所有子元素 print d('ul').children().eq(0) #根据索引获取子元素 print d('img').parents() # 获取父元素 print d('#hi').next() # 获取下一个元素 print d('#hi').nextAll() #获取后面全部元素块 print d('p').not_('#hi2') # 返回不匹配选择器的元素 # 遍历所有匹配的元素 for i in d.items('li'): print i.text() print [i.text() for i in d.items('li')] # 遍历用于列表推倒 print d.make_links_absolute(base_url='http://www.baidu.com') # 把html文档中的相对路径变为绝对路径
위의 코드 스니펫은 다음을 제공합니다. pyquery의 운영 방법을 사용했습니다. 우리는 먼저 HTML 코드 조각을 정의한 다음 주로 특정 요소와 텍스트를 얻기 위해 일련의 pyquery 메서드를 사용하여 html 코드에서 작업했습니다. 물론 pyquery는 요소를 얻을 수 있을 뿐만 아니라 요소 속성을 설정하고 요소를 추가하는 등의 기능도 수행할 수 있습니다. 가장 일반적으로 사용되는 방법은 위 코드에서 사용하는 방법이므로 여기서는 다른 방법을 소개하지 않겠습니다.
url 또는 로컬 html 파일에서 정보 추출
물론 pyquery는 위와 같이 html 문자열을 구문 분석할 수 있을 뿐만 아니라 다음과 같이 분석할 수도 있습니다.
d = pq(url='http://www.baidu.com/')
URL을 직접 불러올 수 있으며, 위의 조작방법과 별 차이가 없습니다. 이 방법은 기본적으로 urllib 모듈을 사용하여 http 요청을 생성하지만 시스템에 요청이 설치된 경우 요청을 사용하여 http 요청을 생성합니다. 즉,
pq('http://www.baidu.com/', headers={'user-agent': 'pyquery'})또는 해당 지역에 해당 HTML 파일이 이미 있는 경우 다음과 같이 할 수도 있습니다. d = pq(filename=path_to_html_file)위 작성 방법은 로컬 HTML 파일을 직접 지정하며 작업 방법은 여전히 위와 동일합니다. 같은.
보시다시피 pyquery는 jquery와 마찬가지로 어떤 요소든 선택할 수 있는 완전한 편의성을 제공합니다.
pyquery를 사용하여 상위 250개의 Douban 영화를 가져옵니다
pyquery의 구문을 읽은 후 상위 250개의 Douban 영화를 가져오는 예제를 살펴보겠습니다.Douban의 안티 크롤러는 매우 강력하기 때문에 몇 번 실행한 후에도 잡을 수 없었습니다. 먼저 요청을 사용하여 페이지를 다운로드하고 pyquery를 사용하여 페이지를 직접 분석하여 정보를 추출해야 했습니다.
from pyquery import PyQuery as pq
import requests
head_req = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
'Referer':'https://movie.douban.com/top250?start=0',
}
r=requests.get("https://movie.douban.com/top250?start=0",headers=head_req)
with open("1.html","wb") as html:
html.write(r.content)
d=pq(filename="1.html")
# print d('ol').find('li').html()
for data in d('ol').items('li'):
print data.find('.hd').find('.title').eq(0).text()
print data.find('.star').find('.rating_num').text()
print data.find('.quote').find('.inq').text()
print
肖申克的救赎 9.6 希望让人自由。 这个杀手不太冷 9.4 怪蜀黍和小萝莉不得不说的故事。 阿甘正传 9.4 一部美国近现代史。 霸王别姬 9.4 风华绝代。 美丽人生 9.5 最美的谎言。 千与千寻 9.2 最好的宫崎骏，最好的久石让。 辛德勒的名单 9.4 拯救一个人，就是拯救整个世界。 海上钢琴师 9.2 每个人都要走一条自己坚定了的路，就算是粉身碎骨。 机器人总动员 9.3 小瓦力，大人生。 盗梦空间 9.2 诺兰给了我们一场无法盗取的梦。 泰坦尼克号 9.1 失去的才是永恒的。 三傻大闹宝莱坞 9.1 英俊版憨豆，高情商版谢耳朵。 放牛班的春天 9.2 天籁一般的童声，是最接近上帝的存在。 忠犬八公的故事 9.2 永远都不能忘记你所爱的人。 龙猫 9.1 人人心中都有个龙猫，童年就永远不会消失。 大话西游之大圣娶亲 9.1 一生所爱。 教父 9.2 千万不要记恨你的对手，这样会让你失去理智。 乱世佳人 9.2 Tomorrow is another day. 天堂电影院 9.1 那些吻戏，那些青春，都在影院的黑暗里被泪水冲刷得无比清晰。 当幸福来敲门 8.9 平民励志片。 搏击俱乐部 9.0 邪恶与平庸蛰伏于同一个母体，在特定的时间互相对峙。 楚门的世界 9.0 如果再也不能见到你，祝你早安，午安，晚安。 触不可及 9.1 满满温情的高雅喜剧。 指环王3：王者无敌 9.1 史诗的终章。 罗马假日 8.9 爱情哪怕只有一天。물론 첫 페이지에 있는 항목은 25개뿐입니다. 우리는 이미 상위 250개 Douban 영화의 URL을 알고 있습니다.
시작 매개변수는 0부터 시작하여 각각 25씩 증가합니다.
까지 루프를 작성하여 모두 캡처할 수 있습니다.