요청 라이브러리 크롤러란 무엇입니까? 사용하는 방법? (예를 들어 설명)

요청 라이브러리 크롤러란 무엇인가요? 사용하는 방법? 이 기사에서는 요청 라이브러리 크롤러가 무엇인지 소개합니다. 사용하는 방법? 예시를 통해 설명합니다. 도움이 필요한 친구들이 참고할 수 있기를 바랍니다.

단일 JD 페이지 정보를 크롤링하려면 request.get()을 사용하여 응답 개체를 반환하세요.

import requests
url = "https://item.jd.com/21508090549.html"
try:
	r = requests.get(url)
	r.raise_for_status()          #检验http状态码是否为200
	r.encoding = r.apparent_encoding#识别页面正确编码
	print(r.text[:1000])
except:
	print("爬取失败")

위 코드를 사용하여 Amazon 페이지에 액세스하면 Amazon 로봇 프로토콜이 오류 메시지를 크롤링하게 됩니다. -주류 브라우저는 허용되지 않습니다. 해당 페이지에 접속하려면 요청 접속 정보에 'user-agent'를 설정해야 합니다

import requests
url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
	#kv = {'user-agent':'Mozilla/5.0'}#假装访问浏览器为Mozilla/5.0
	r = requests.get(url)
	r.raise_for_status()#检验http状态码是否为200
	r.encoding = r.apparent_encoding#识别页面正确编码
	print(r.text[:1000])
except:
	print("爬取失败")

바이두/360 검색을 모방하는 코드를 사용하세요

바이두의 'wd=' 매개변수를 추가해야 합니다. .'/360은 URL의 'q' =...'

import requests
url = "http://www.baidu.com/s"
keyword="python"
try:
	kv = {'wd':key}
	r = requests.get(url,params=kv)
	print(r.request.url)
	r.raise_for_status()#检验http状态码是否为200
	r.encoding = r.apparent_encoding#识别页面正确编码
	print(len(r.text))#由于信息量可能特别大，这里只输出长度
except:
	print("爬取失败")

사진 크롤링 및 저장

import requests
import os
url = "https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1540201265460&di=64720dcd3bbc24b7d855454028173deb&imgtype=0&src=http%3A%2F%2Fpic34.photophoto.cn%2F20150105%2F0005018358919011_b.jpg"
root = "D://pics//"
path = root + url.split('.')[-2]+'.'+url.split('.')[-1]#得到文件名，生成文件路径
if not os.path.exists(root):
	os.mkdir(root)#如果目录不存在，创建目录
if not os.path.exists(path):#如果文件不存在爬取文件并保存
	r = requests.get(url)
	with open(path,'wb') as f:#打开文件对象
		f.write(r.content)#写入爬取的图片
		f.close()
		print("文件保存成功")
else:
	print("文件已存在")

요약: 위 내용은 이 글의 전체 내용입니다. 모든 사람의 학습에 도움이 되기를 바랍니다. 더 많은 관련 튜토리얼을 보려면 C# 비디오 튜토리얼을 방문하세요!

위 내용은 요청 라이브러리 크롤러란 무엇입니까? 사용하는 방법? (예를 들어 설명)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!