简而言之: 本指南演示了如何使用crawl4ai 的人工智能提取和 Pydantic 数据模型构建电子商务抓取工具。 抓取工具异步检索产品列表(名称、价格)和详细的产品信息(规格、评论)。
在 Google Colab 上访问完整代码
厌倦了电子商务数据分析的传统网络抓取的复杂性?本教程使用现代 Python 工具简化了该过程。我们将利用 crawl4ai 进行智能数据提取,并利用 Pydantic 进行稳健的数据建模和验证。
为什么选择 Crawl4AI 和 Pydantic?
- crawl4ai:使用人工智能驱动的提取方法简化网络爬行和抓取。
- Pydantic:提供数据验证和模式管理,确保抓取的数据结构化且准确。
为什么瞄准 Tokopedia?
印尼主要电商平台Tokopedia就是我们的例子。 (注:作者是印度尼西亚人,也是该平台的用户,但不隶属于该平台。)这些原则适用于其他电子商务网站。 这种抓取方法对于对电子商务分析、市场研究或自动数据收集感兴趣的开发人员来说是有益的。
是什么让这种方法与众不同?
我们不依赖复杂的CSS选择器或XPath,而是利用crawl4ai基于LLM的提取。这提供:
- 增强了对网站结构变化的适应能力。
- 更清晰、更结构化的数据输出。
- 减少维护开销。
设置您的开发环境
首先安装必要的软件包:
%pip install -U crawl4ai %pip install nest_asyncio %pip install pydantic
对于笔记本中的异步代码执行,我们还将使用 nest_asyncio
:
import crawl4ai import asyncio import nest_asyncio nest_asyncio.apply()
使用 Pydantic 定义数据模型
我们使用 Pydantic 来定义预期的数据结构。 以下是型号:
from pydantic import BaseModel, Field from typing import List, Optional class TokopediaListingItem(BaseModel): product_name: str = Field(..., description="Product name from listing.") product_url: str = Field(..., description="URL to product detail page.") price: str = Field(None, description="Price displayed in listing.") store_name: str = Field(None, description="Store name from listing.") rating: str = Field(None, description="Rating (1-5 scale) from listing.") image_url: str = Field(None, description="Primary image URL from listing.") class TokopediaProductDetail(BaseModel): product_name: str = Field(..., description="Product name from detail page.") all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.") specs: str = Field(None, description="Technical specifications or short info.") description: str = Field(None, description="Long product description.") variants: List[str] = Field(default_factory=list, description="List of variants or color options.") satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.") total_ratings: Optional[str] = Field(None, description="Total number of ratings.") total_reviews: Optional[str] = Field(None, description="Total number of reviews.") stock: Optional[str] = Field(None, description="Stock availability.")
这些模型充当模板,确保数据验证并提供清晰的文档。
抓取过程
刮刀分两个阶段运行:
1.抓取产品列表
首先,我们检索搜索结果页面:
async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1): # ... (Code remains the same) ...
2.正在获取产品详细信息
接下来,对于每个产品 URL,我们获取详细信息:
async def crawl_tokopedia_detail(product_url: str): # ... (Code remains the same) ...
结合各个阶段
最后,我们整合两个阶段:
async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15): # ... (Code remains the same) ...
运行爬虫
执行抓取工具的方法如下:
%pip install -U crawl4ai %pip install nest_asyncio %pip install pydantic
专业提示
- 速率限制:尊重 Tokopedia 的服务器;在大规模抓取请求之间引入延迟。
-
缓存:在开发过程中启用crawl4ai的缓存(
cache_mode=CacheMode.ENABLED
)。 - 错误处理:为生产使用实现全面的错误处理和重试机制。
- API 密钥: 将 Gemini API 密钥安全地存储在环境变量中,而不是直接存储在代码中。
后续步骤
这个刮刀可以扩展到:
- 将数据存储在数据库中。
- 监控价格随时间的变化。
- 分析产品趋势和模式。
- 比较多家商店的价格。
结论
crawl4ai 基于 LLM 的提取与传统方法相比显着提高了网页抓取的可维护性。 与 Pydantic 的集成确保了数据的准确性和结构。
在抓取之前始终遵守网站的robots.txt
和服务条款。
重要链接:
爬行4AI
- 官方网站:https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca
- GitHub 存储库:https://www.php.cn/link/62c1b075041300455ec2b54495d93c99
- 文档:https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca/mkdocs/core/installation/
皮丹蒂克
- 官方文档:https://www.php.cn/link/a4d4ec4aa3c45731396ed6e65fee40b9
- PyPI 页面:https://www.php.cn/link/4d8ab89733dd9a88f1a9d130ca675c2e
- GitHub 仓库:https://www.php.cn/link/22935fba49f7d80d5adf1cfa6b0344f4
注意:完整的代码可以在Colab笔记本中找到。 请随意尝试并根据您的具体需求进行调整。
以上是使用 Pydantic、Crawl 和 Gemini 构建异步电子商务网络爬虫的详细内容。更多信息请关注PHP中文网其他相关文章!

本教程演示如何使用Python处理Zipf定律这一统计概念,并展示Python在处理该定律时读取和排序大型文本文件的效率。 您可能想知道Zipf分布这个术语是什么意思。要理解这个术语,我们首先需要定义Zipf定律。别担心,我会尽量简化说明。 Zipf定律 Zipf定律简单来说就是:在一个大型自然语言语料库中,最频繁出现的词的出现频率大约是第二频繁词的两倍,是第三频繁词的三倍,是第四频繁词的四倍,以此类推。 让我们来看一个例子。如果您查看美国英语的Brown语料库,您会注意到最频繁出现的词是“th

本文解释了如何使用美丽的汤库来解析html。 它详细介绍了常见方法,例如find(),find_all(),select()和get_text(),以用于数据提取,处理不同的HTML结构和错误以及替代方案(SEL)

处理嘈杂的图像是一个常见的问题,尤其是手机或低分辨率摄像头照片。 本教程使用OpenCV探索Python中的图像过滤技术来解决此问题。 图像过滤:功能强大的工具 图像过滤器

PDF 文件因其跨平台兼容性而广受欢迎,内容和布局在不同操作系统、阅读设备和软件上保持一致。然而,与 Python 处理纯文本文件不同,PDF 文件是二进制文件,结构更复杂,包含字体、颜色和图像等元素。 幸运的是,借助 Python 的外部模块,处理 PDF 文件并非难事。本文将使用 PyPDF2 模块演示如何打开 PDF 文件、打印页面和提取文本。关于 PDF 文件的创建和编辑,请参考我的另一篇教程。 准备工作 核心在于使用外部模块 PyPDF2。首先,使用 pip 安装它: pip 是 P

本教程演示了如何利用Redis缓存以提高Python应用程序的性能,特别是在Django框架内。 我们将介绍REDIS安装,Django配置和性能比较,以突出显示BENE

本文比较了Tensorflow和Pytorch的深度学习。 它详细介绍了所涉及的步骤:数据准备,模型构建,培训,评估和部署。 框架之间的关键差异,特别是关于计算刻度的

Python是数据科学和处理的最爱,为高性能计算提供了丰富的生态系统。但是,Python中的并行编程提出了独特的挑战。本教程探讨了这些挑战,重点是全球解释

本教程演示了在Python 3中创建自定义管道数据结构,利用类和操作员超载以增强功能。 管道的灵活性在于它能够将一系列函数应用于数据集的能力,GE


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

mPDF
mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

SublimeText3汉化版
中文版,非常好用

EditPlus 中文破解版
体积小,语法高亮,不支持代码提示功能

VSCode Windows 64位 下载
微软推出的免费、功能强大的一款IDE编辑器