搜索
首页后端开发Python教程使用 Pydantic、Crawl 和 Gemini 构建异步电子商务网络爬虫

Building an Async E-Commerce Web Scraper with Pydantic, Crawl & Gemini

简而言之: 本指南演示了如何使用crawl4ai 的人工智能提取和 Pydantic 数据模型构建电子商务抓取工具。 抓取工具异步检索产品列表(名称、价格)和详细的产品信息(规格、评论)。

在 Google Colab 上访问完整代码


厌倦了电子商务数据分析的传统网络抓取的复杂性?本教程使用现代 Python 工具简化了该过程。我们将利用 crawl4ai 进行智能数据提取,并利用 Pydantic 进行稳健的数据建模和验证。

为什么选择 Crawl4AI 和 Pydantic?

  • crawl4ai:使用人工智能驱动的提取方法简化网络爬行和抓取。
  • Pydantic:提供数据验证和模式管理,确保抓取的数据结构化且准确。

为什么瞄准 Tokopedia?

印尼主要电商平台Tokopedia就是我们的例子。 (注:作者是印度尼西亚人,也是该平台的用户,但不隶属于该平台。)这些原则适用于其他电子商务网站。 这种抓取方法对于对电子商务分析、市场研究或自动数据收集感兴趣的开发人员来说是有益的。

是什么让这种方法与众不同?

我们不依赖复杂的CSS选择器或XPath,而是利用crawl4ai基于LLM的提取。这提供:

  • 增强了对网站结构变化的适应能力。
  • 更清晰、更结构化的数据输出。
  • 减少维护开销。

设置您的开发环境

首先安装必要的软件包:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

对于笔记本中的异步代码执行,我们还将使用 nest_asyncio:

import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

使用 Pydantic 定义数据模型

我们使用 Pydantic 来定义预期的数据结构。 以下是型号:

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

这些模型充当模板,确保数据验证并提供清晰的文档。

抓取过程

刮刀分两个阶段运行:

1.抓取产品列表

首先,我们检索搜索结果页面:

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2.正在获取产品详细信息

接下来,对于每个产品 URL,我们获取详细信息:

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

结合各个阶段

最后,我们整合两个阶段:

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

运行爬虫

执行抓取工具的方法如下:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

专业提示

  1. 速率限制:尊重 Tokopedia 的服务器;在大规模抓取请求之间引入延迟。
  2. 缓存:在开发过程中启用crawl4ai的缓存(cache_mode=CacheMode.ENABLED)。
  3. 错误处理:为生产使用实现全面的错误处理和重试机制。
  4. API 密钥: 将 Gemini API 密钥安全地存储在环境变量中,而不是直接存储在代码中。

后续步骤

这个刮刀可以扩展到:

  • 将数据存储在数据库中。
  • 监控价格随时间的变化。
  • 分析产品趋势和模式。
  • 比较多家商店的价格。

结论

crawl4ai 基于 LLM 的提取与传统方法相比显着提高了网页抓取的可维护性。 与 Pydantic 的集成确保了数据的准确性和结构。

在抓取之前始终遵守网站的robots.txt和服务条款。


重要链接:

爬行4AI

皮丹蒂克


注意:完整的代码可以在Colab笔记本中找到。 请随意尝试并根据您的具体需求进行调整。

以上是使用 Pydantic、Crawl 和 Gemini 构建异步电子商务网络爬虫的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
如何使用Python查找文本文件的ZIPF分布如何使用Python查找文本文件的ZIPF分布Mar 05, 2025 am 09:58 AM

本教程演示如何使用Python处理Zipf定律这一统计概念,并展示Python在处理该定律时读取和排序大型文本文件的效率。 您可能想知道Zipf分布这个术语是什么意思。要理解这个术语,我们首先需要定义Zipf定律。别担心,我会尽量简化说明。 Zipf定律 Zipf定律简单来说就是:在一个大型自然语言语料库中,最频繁出现的词的出现频率大约是第二频繁词的两倍,是第三频繁词的三倍,是第四频繁词的四倍,以此类推。 让我们来看一个例子。如果您查看美国英语的Brown语料库,您会注意到最频繁出现的词是“th

我如何使用美丽的汤来解析HTML?我如何使用美丽的汤来解析HTML?Mar 10, 2025 pm 06:54 PM

本文解释了如何使用美丽的汤库来解析html。 它详细介绍了常见方法,例如find(),find_all(),select()和get_text(),以用于数据提取,处理不同的HTML结构和错误以及替代方案(SEL)

python中的图像过滤python中的图像过滤Mar 03, 2025 am 09:44 AM

处理嘈杂的图像是一个常见的问题,尤其是手机或低分辨率摄像头照片。 本教程使用OpenCV探索Python中的图像过滤技术来解决此问题。 图像过滤:功能强大的工具 图像过滤器

如何使用Python使用PDF文档如何使用Python使用PDF文档Mar 02, 2025 am 09:54 AM

PDF 文件因其跨平台兼容性而广受欢迎,内容和布局在不同操作系统、阅读设备和软件上保持一致。然而,与 Python 处理纯文本文件不同,PDF 文件是二进制文件,结构更复杂,包含字体、颜色和图像等元素。 幸运的是,借助 Python 的外部模块,处理 PDF 文件并非难事。本文将使用 PyPDF2 模块演示如何打开 PDF 文件、打印页面和提取文本。关于 PDF 文件的创建和编辑,请参考我的另一篇教程。 准备工作 核心在于使用外部模块 PyPDF2。首先,使用 pip 安装它: pip 是 P

如何在django应用程序中使用redis缓存如何在django应用程序中使用redis缓存Mar 02, 2025 am 10:10 AM

本教程演示了如何利用Redis缓存以提高Python应用程序的性能,特别是在Django框架内。 我们将介绍REDIS安装,Django配置和性能比较,以突出显示BENE

如何使用TensorFlow或Pytorch进行深度学习?如何使用TensorFlow或Pytorch进行深度学习?Mar 10, 2025 pm 06:52 PM

本文比较了Tensorflow和Pytorch的深度学习。 它详细介绍了所涉及的步骤:数据准备,模型构建,培训,评估和部署。 框架之间的关键差异,特别是关于计算刻度的

Python中的平行和并发编程简介Python中的平行和并发编程简介Mar 03, 2025 am 10:32 AM

Python是数据科学和处理的最爱,为高性能计算提供了丰富的生态系统。但是,Python中的并行编程提出了独特的挑战。本教程探讨了这些挑战,重点是全球解释

如何在Python中实现自己的数据结构如何在Python中实现自己的数据结构Mar 03, 2025 am 09:28 AM

本教程演示了在Python 3中创建自定义管道数据结构,利用类和操作员超载以增强功能。 管道的灵活性在于它能够将一系列函数应用于数据集的能力,GE

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

mPDF

mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

EditPlus 中文破解版

EditPlus 中文破解版

体积小,语法高亮,不支持代码提示功能

VSCode Windows 64位 下载

VSCode Windows 64位 下载

微软推出的免费、功能强大的一款IDE编辑器