Utilisez le framework Scrapy de Python pour explorer des photos de belles femmes en dix minutes

Scrapy est écrit en Python, léger, simple et léger, et très pratique à utiliser. L'utilisation de Scrapy peut facilement compléter la collecte de données en ligne. Cela nous a permis de réaliser beaucoup de travail sans avoir à déployer de gros efforts pour les développer nous-mêmes. Cet article présente l'utilisation du framework Scrapy de Python pour explorer de belles photos de femmes en dix minutes. Les amis qui en ont besoin peuvent se référer à

Introduction

. Scrapy est un python. Ce qui suit est un framework de robots riche en fonctions et rapide et facile à utiliser. Vous pouvez utiliser Scrapy pour développer rapidement un robot simple. Un exemple simple donné par le responsable suffit à prouver sa puissance :

Développement rapide

Le compte à rebours de 10 minutes commence ci-dessous :

Bien sûr, avant de commencer, vous pouvez jeter un œil à l'article d'introduction scrapy que nous avons écrit auparavant "Writing Python Crawlers from Zero Basics : Utilisation du framework Scrapy pour écrire des robots

1 Initialiser le projet

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

2. . Ajoutez du code spider :

Définissez scrapy.Item, ajoutez des image_urls et des images, et préparez le téléchargement des images.

Modifiez start_urls sur la page initiale, ajoutez parse pour traiter la page de liste et ajoutez parse_item pour traiter la page d'élément.

3. Modifier le fichier de configuration :

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录

4. Exécutez le projet :

scrapy crawl meizitu

Regardez les rendus de fonctionnement du projet

Attendez un peu, il est temps de récolter

Plus de frameworks Scrapy utilisant Python 10 Pour les articles liés à l'exploration de photos de beauté en quelques minutes, veuillez faire attention au site Web PHP chinois !