Scrapy是一個使用Python編寫的,輕量級的,簡單輕巧,並且使用起來非常的方便。使用Scrapy可以很方便的完成網上數據的採集工作,它為我們完成了大量的工作,而不需要自己費大力氣去開發。本文介紹了使用Python的Scrapy框架十分鐘爬取美女圖,需要的朋友可以參考下
簡介
scrapy 是一個 python 下面功能豐富、使用方便的爬蟲框架。用scrapy 可以快速的開發一個簡單的爬蟲,官方給出的一個簡單例子足以證明其強大:
快速開發
下面開始10分鐘倒計時:
看看之前我們寫過的scrapy 入門文章《零基礎寫python爬蟲之使用Scrapy框架寫爬蟲1.初始化專案
scrapy startproject mzt cd mzt scrapy genspider meizitu meizitu.com
DOWNLOAD_DELAY = 1 # 添加下载延迟配置 ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline IMAGES_STORE = '.' # 设置图片保存目录. Item ,新增image_urls 和images ,為下載圖片做準備。 修改 start_urls 為初始頁面, 新增 parse 用於處理清單頁, 新增 parse_item 處理項目頁面。
3. 修改設定檔:
scrapy crawl meizitu
4. 運行項目
等一會兒,就是收穫的時候了
更多使用Python的Scrapy框架十分鐘爬取美女圖相關文章請關注PHP中文網!