Python 언어를 사용하여 인터넷에서 데이터를 가져오는 것은 매우 일반적인 작업입니다. Python에는 웹 서버에 HTTP 요청을 보내는 데 사용되는 Python용 HTTP 클라이언트 라이브러리인 요청이라는 라이브러리가 있습니다.
요청 라이브러리를 사용하여 다음 코드를 통해 지정된 URL에 대한 HTTP 요청을 시작할 수 있습니다.
import requests response = requests.get('<http://www.example.com>')
그 중 응답
개체에는 서버에서 반환한 응답이 포함됩니다. 응답의 텍스트 콘텐츠를 가져오려면 response.text
를 사용하세요. response
对象将包含服务器返回的响应。使用 response.text
可以获取响应的文本内容。
此外,我们还可以使用以下代码获取二进制资源:
import requests response = requests.get('<http://www.example.com/image.png>') with open('image.png', 'wb') as f: f.write(response.content)
使用 response.content
可以获取服务器返回的二进制数据。
爬虫是一种自动化程序,可以通过网络爬取网页数据,并将其存储在数据库或文件中。爬虫在数据采集、信息监控、内容分析等领域有着广泛的应用。Python 语言是爬虫编写的常用语言,因为它具有简单易学、代码量少、库丰富等优点。
我们以“豆瓣电影”为例,介绍如何使用 Python 编写爬虫代码。首先,我们使用 requests 库获取网页的 HTML 代码,然后将整个代码看成一个长字符串,使用正则表达式的捕获组从字符串提取需要的内容。
豆瓣电影 Top250 页面的地址是 https://movie.douban.com/top250?start=0
,其中 start
参数表示从第几个电影开始获取。每页共展示了 25 部电影,如果要获取 Top250 数据,我们共需要访问 10 个页面,对应的地址是 https://movie.douban.com/top250?start=xxx
,这里的 xxx
如果为 0
就是第一页,如果 xxx
的值是 100
,那么我们可以访问到第五页。
我们以获取电影的标题和评分为例,代码如下所示:
import re import requests import time import random for page in range(1, 11): resp = requests.get( url=f'<https://movie.douban.com/top250?start=>{(page - 1) * 25}', headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'} ) # 通过正则表达式获取class属性为title且标签体不以&开头的span标签并用捕获组提取标签内容 pattern1 = re.compile(r'<span class="title">([^&]*?)</span>') titles = pattern1.findall(resp.text) # 通过正则表达式获取class属性为rating_num的span标签并用捕获组提取标签内容 pattern2 = re.compile(r'<span class="rating_num".*?>(.*?)</span>') ranks = pattern2.findall(resp.text) # 使用zip压缩两个列表,循环遍历所有的电影标题和评分 for title, rank in zip(titles, ranks): print(title, rank) # 随机休眠1-5秒,避免爬取页面过于频繁 time.sleep(random.random() * 4 + 1)
在上述代码中,我们通过正则表达式获取标签体为标题和评分的 span 标签,并用捕获组提取标签内容。使用 zip
压缩两个列表,循环遍历所有电影标题和评分。
许多网站对爬虫程序比较反感,因为爬虫程序会耗费掉它们很多的网络带宽,并制造很多无效的流量。为了隐匿身份,通常需要使用 IP 代理来访问网站。商业 IP 代理(如蘑菇代理、芝麻代理、快代理等)是一个好的选择,使用商业 IP 代理可以让被爬取的网站无法获取爬虫程序来源的真实 IP 地址,从而无法简单的通过 IP 地址对爬虫程序进行封禁。
以蘑菇代理为例,我们可以在该网站注册一个账号,然后购买相应的套餐来获得商业 IP 代理。蘑菇代理提供了两种接入代理的方式,分别是 API 私密代理和 HTTP 隧道代理,前者是通过请求蘑菇代理的 API 接口获取代理服务器地址,后者是直接使用统一的代理服务器 IP 和端口。
使用 IP 代理的代码如下所示:
import requests proxies = { 'http': '<http://username:password@ip>:port', 'https': '<https://username:password@ip>:port' } response = requests.get('<http://www.example.com>', proxies=proxies)
其中,username
和 password
分别是蘑菇代理账号的用户名和密码,ip
和 port
response.content
를 사용하여 서버에서 반환된 바이너리 데이터를 가져옵니다. 🎜🎜크롤러 코드 작성🎜🎜크롤러는 네트워크를 통해 웹페이지 데이터를 크롤링하여 데이터베이스나 파일에 저장하는 자동화된 프로그램입니다. 크롤러는 데이터 수집, 정보 모니터링, 콘텐츠 분석 및 기타 분야에서 널리 사용됩니다. Python 언어는 배우기 쉽고 코드 양이 적으며 라이브러리가 풍부하다는 장점이 있기 때문에 크롤러 작성에 일반적으로 사용되는 언어입니다. 🎜🎜Python을 사용하여 크롤러 코드를 작성하는 방법을 소개하기 위해 "Douban Movie"를 예로 들어 보겠습니다. 먼저 요청 라이브러리를 사용하여 웹 페이지의 HTML 코드를 가져온 다음 전체 코드를 긴 문자열로 처리하고 정규식의 캡처 그룹을 사용하여 문자열에서 필요한 콘텐츠를 추출합니다. 🎜🎜Douban Movie Top250 페이지의 주소는 https://movie.douban.com/top250?start=0
입니다. 여기서 start
매개변수는 시작할 영화를 나타냅니다. . 각 페이지에는 총 25개의 영화가 표시됩니다. Top250 데이터를 얻으려면 총 10개의 페이지를 방문해야 합니다. 해당 주소는 https://movie.douban.com/top250?start입니다. =xxx
. 여기에서 xxx
가 0
이면 xxx
의 값이 100이면 첫 번째 페이지입니다.
를 클릭하면 5페이지로 이동합니다. 🎜🎜영화의 제목과 등급을 가져오는 예를 들어 보겠습니다. 코드는 다음과 같습니다. 🎜rrreee🎜위 코드에서는 정규식을 사용하여 태그 본문이 제목과 등급인 스팬 태그를 가져오고 다음을 사용합니다. 태그 콘텐츠를 추출하는 캡처 그룹. zip
을 사용하여 두 목록을 압축하고 모든 영화 제목과 등급을 반복합니다. 🎜🎜IP 프록시 사용🎜🎜크롤러는 네트워크 대역폭을 많이 소비하고 유효하지 않은 트래픽을 많이 생성하기 때문에 많은 웹사이트가 크롤러를 싫어합니다. 귀하의 신원을 숨기려면 일반적으로 웹 사이트에 액세스하기 위해 IP 프록시를 사용해야 합니다. 상업용 IP 프록시(예: Mushroom Proxy, Sesame Proxy, Fast Proxy 등)를 사용하는 것은 좋은 선택입니다. 상업용 IP 프록시를 사용하면 크롤링된 웹사이트가 크롤러 프로그램 소스의 실제 IP 주소를 얻는 것을 방지할 수 있습니다. IP 주소를 사용하면 크롤러 프로그램이 차단됩니다. 🎜🎜 버섯 에이전트를 예로 들면, 웹사이트에 계정을 등록한 후 해당 패키지를 구매하여 상용 IP 에이전트를 얻을 수 있습니다. Mushroom 프록시는 프록시에 액세스하는 두 가지 방법, 즉 API 개인 프록시와 HTTP 터널 프록시를 제공합니다. 전자는 Mushroom 프록시의 API 인터페이스를 요청하여 프록시 서버 주소를 얻고 후자는 통합 프록시 서버 IP 및 포트를 직접 사용합니다. 🎜🎜IP 프록시를 사용하기 위한 코드는 다음과 같습니다. 🎜rrreee🎜그 중 사용자 이름
과 비밀번호
는 각각 버섯 프록시 계정의 사용자 이름과 비밀번호입니다. ip
및 port
는 각각 프록시 서버의 IP 주소와 포트 번호입니다. 프록시 공급자마다 액세스 방법이 다를 수 있으므로 실제 상황에 따라 수정해야 합니다. 🎜위 내용은 Python 웹 크롤러를 사용하여 네트워크 데이터를 얻는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!