Erstellen eines asynchronen E-Commerce-Web-Scrapers mit Pydantic, Crawl & Gemini

Kurz gesagt: Dieser Leitfaden zeigt den Aufbau eines E-Commerce-Scrapers mithilfe der KI-gestützten Extraktion und der Pydantic-Datenmodelle von crawl4ai. Der Scraper ruft asynchron sowohl Produktlisten (Namen, Preise) als auch detaillierte Produktinformationen (Spezifikationen, Bewertungen) ab.

Greifen Sie auf den vollständigen Code auf Google Colab zu

---

Müden Sie die Komplexität des traditionellen Web-Scrapings zur E-Commerce-Datenanalyse? Dieses Tutorial vereinfacht den Prozess mithilfe moderner Python-Tools. Wir nutzen crawl4ai für die intelligente Datenextraktion und Pydantic für eine robuste Datenmodellierung und -validierung.

Warum Crawl4AI und Pydantic wählen?

• crawl4ai: Optimiert Web-Crawling und Scraping mithilfe KI-gesteuerter Extraktionsmethoden.
• Pydantic: Bietet Datenvalidierung und Schemaverwaltung und sorgt so für strukturierte und genaue Scraping-Daten.

Warum Tokopedia ins Visier nehmen?

Tokopedia, eine große indonesische E-Commerce-Plattform, dient uns als Beispiel. (Hinweis: Der Autor ist Indonesier und Nutzer der Plattform, aber nicht mit ihr verbunden.) Die Grundsätze gelten auch für andere E-Commerce-Websites. Dieser Scraping-Ansatz ist für Entwickler von Vorteil, die sich für E-Commerce-Analysen, Marktforschung oder automatisierte Datenerfassung interessieren.

Was zeichnet diesen Ansatz aus?

Anstatt uns auf komplexe CSS-Selektoren oder XPath zu verlassen, nutzen wir die LLM-basierte Extraktion von crawl4ai. Das bietet:

• Verbesserte Widerstandsfähigkeit gegenüber Änderungen der Website-Struktur.
• Sauberere, strukturiertere Datenausgabe.
• Reduzierter Wartungsaufwand.

Einrichten Ihrer Entwicklungsumgebung

Beginnen Sie mit der Installation der erforderlichen Pakete:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

Für die asynchrone Codeausführung in Notebooks verwenden wir auch nest_asyncio:

import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

Datenmodelle mit Pydantic definieren

Wir verwenden Pydantic, um die erwartete Datenstruktur zu definieren. Hier sind die Modelle:

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

Diese Modelle dienen als Vorlagen, stellen die Datenvalidierung sicher und sorgen für eine klare Dokumentation.

Der Schabeprozess

Der Schaber arbeitet in zwei Phasen:

1. Crawlen von Produktlisten

Zuerst rufen wir Suchergebnisseiten ab:

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2. Produktdetails abrufen

Als nächstes rufen wir für jede Produkt-URL detaillierte Informationen ab:

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

Kombination der Stufen

Schließlich integrieren wir beide Phasen:

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

Den Scraper ausführen

So führen Sie den Schaber aus:

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

Profi-Tipps

1. Ratenbegrenzung: Respektieren Sie die Server von Tokopedia; Verzögerungen zwischen Anfragen für groß angelegtes Scraping einführen.
2. Caching: Aktivieren Sie das Caching von crawl4ai während der Entwicklung (cache_mode=CacheMode.ENABLED).
3. Fehlerbehandlung: Implementieren Sie umfassende Fehlerbehandlungs- und Wiederholungsmechanismen für den Produktionseinsatz.
4. API-Schlüssel:Speichern Sie Gemini-API-Schlüssel sicher in Umgebungsvariablen, nicht direkt im Code.

Nächste Schritte

Dieser Schaber kann erweitert werden auf:

• Daten in einer Datenbank speichern.
• Überwachen Sie Preisänderungen im Laufe der Zeit.
• Produkttrends und -muster analysieren.
• Vergleichen Sie die Preise in mehreren Geschäften.

Fazit

Die LLM-basierte Extraktion von crawl4ai verbessert die Wartbarkeit des Web Scraping im Vergleich zu herkömmlichen Methoden erheblich. Die Integration mit Pydantic gewährleistet Datengenauigkeit und -struktur.

Halten Sie sich vor dem Scrapen immer an die robots.txt und Nutzungsbedingungen einer Website.

---

Wichtige Links:

Crawl4AI

• Offizielle Website: https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca
• GitHub-Repository: https://www.php.cn/link/62c1b075041300455ec2b54495d93c99
• Dokumentation: https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca/mkdocs/core/installation/

Pydantisch

• Offizielle Dokumentation: https://www.php.cn/link/a4d4ec4aa3c45731396ed6e65fee40b9
• PyPI-Seite: https://www.php.cn/link/4d8ab89733dd9a88f1a9d130ca675c2e
• GitHub-Repository: https://www.php.cn/link/22935fba49f7d80d5adf1cfa6b0344f4

---

Hinweis: Der vollständige Code ist im Colab-Notizbuch verfügbar. Probieren Sie es einfach aus und passen Sie es an Ihre spezifischen Bedürfnisse an.

Das obige ist der detaillierte Inhalt vonErstellen eines asynchronen E-Commerce-Web-Scrapers mit Pydantic, Crawl & Gemini. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!