찾다
백엔드 개발파이썬 튜토리얼Pydantic, Crawl 및 Gemini를 사용하여 비동기 전자상거래 웹 스크레이퍼 구축

Building an Async E-Commerce Web Scraper with Pydantic, Crawl & Gemini

간단히 말하면: 이 가이드에서는crawl4ai의 AI 기반 추출 및 Pydantic 데이터 모델을 사용하여 전자상거래 스크래퍼를 구축하는 방법을 보여줍니다. 스크레이퍼는 제품 목록(이름, 가격)과 자세한 제품 정보(사양, 리뷰)를 모두 비동기식으로 검색합니다.

Google Colab에서 전체 코드에 액세스


전자상거래 데이터 분석을 위한 기존 웹 스크래핑의 복잡성에 지치셨나요? 이 튜토리얼에서는 최신 Python 도구를 사용하여 프로세스를 단순화합니다. 지능형 데이터 추출에는 crawl4ai를, 강력한 데이터 모델링 및 검증에는 Pydantic을 활용합니다.

Crawl4AI와 Pydantic을 선택하는 이유는 무엇인가요?

  • crawl4ai: AI 기반 추출 방법을 사용하여 웹 크롤링 및 스크래핑을 간소화합니다.
  • Pydantic: 데이터 검증 및 스키마 관리를 제공하여 구조화되고 정확한 스크랩 데이터를 보장합니다.

토코피디아를 타겟으로 하는 이유는 무엇인가요?

인도네시아의 주요 전자상거래 플랫폼인 Tokopedia가 그 예입니다. (참고: 저자는 인도네시아인이며 플랫폼 사용자이지만 제휴 관계는 아닙니다.) 이 원칙은 다른 전자 상거래 사이트에도 적용됩니다. 이러한 스크래핑 접근 방식은 전자 상거래 분석, 시장 조사 또는 자동화된 데이터 수집에 관심이 있는 개발자에게 유용합니다.

이 접근 방식의 차별점은 무엇입니까?

복잡한 CSS 선택기나 XPath에 의존하는 대신 우리는 creep4ai의 LLM 기반 추출을 활용합니다. 다음을 제공합니다:

  • 웹사이트 구조 변경에 대한 탄력성이 향상되었습니다.
  • 더 깔끔하고 구조화된 데이터 출력.
  • 유지관리 비용이 감소합니다.

개발 환경 설정

필요한 패키지 설치부터 시작하세요.

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

노트북에서 비동기 코드 실행을 위해 nest_asyncio:

도 사용합니다.
import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

Pydantic으로 데이터 모델 정의

Pydantic을 사용하여 예상되는 데이터 구조를 정의합니다. 모델은 다음과 같습니다.

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

이러한 모델은 템플릿 역할을 하여 데이터 검증을 보장하고 명확한 문서를 제공합니다.

스크래핑 과정

스크레이퍼는 두 단계로 작동합니다.

1. 제품 목록 크롤링

먼저 검색 결과 페이지를 검색합니다.

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2. 제품 세부정보 가져오는 중

다음으로 각 제품 URL에 대해 자세한 정보를 가져옵니다.

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

스테이지 결합

마지막으로 두 단계를 통합합니다.

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

스크레이퍼 실행

스크래퍼 실행 방법은 다음과 같습니다.

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

전문가의 팁

  1. 속도 제한: Tokopedia 서버를 존중합니다. 대규모 스크래핑 요청 사이에 지연이 발생합니다.
  2. 캐싱: 개발 중에 크롤링4ai의 캐싱을 활성화합니다(cache_mode=CacheMode.ENABLED).
  3. 오류 처리: 프로덕션 용도로 포괄적인 오류 처리 및 재시도 메커니즘을 구현합니다.
  4. API 키: Gemini API 키를 코드에 직접 저장하지 않고 환경 변수에 안전하게 저장합니다.

다음 단계

이 스크레이퍼는 다음으로 확장될 수 있습니다.

  • 데이터베이스에 데이터를 저장합니다.
  • 시간 경과에 따른 가격 변화를 모니터링하세요.
  • 제품 동향과 패턴을 분석합니다.
  • 여러 매장의 가격을 비교해 보세요.

결론

crawl4ai의 LLM 기반 추출은 기존 방법에 비해 웹 스크래핑 유지 관리성을 크게 향상시킵니다. Pydantic과의 통합으로 데이터 정확성과 구조가 보장됩니다.

스크래핑하기 전에 항상 웹사이트의 robots.txt 및 서비스 약관을 준수하세요.


중요 링크:

Crawl4AI

피단틱


참고: 전체 코드는 Colab 노트북에서 확인할 수 있습니다. 자유롭게 실험하고 특정 요구 사항에 맞게 조정해 보세요.

위 내용은 Pydantic, Crawl 및 Gemini를 사용하여 비동기 전자상거래 웹 스크레이퍼 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
Python 학습 : 2 시간의 일일 연구가 충분합니까?Python 학습 : 2 시간의 일일 연구가 충분합니까?Apr 18, 2025 am 12:22 AM

하루에 2 시간 동안 파이썬을 배우는 것으로 충분합니까? 목표와 학습 방법에 따라 다릅니다. 1) 명확한 학습 계획을 개발, 2) 적절한 학습 자원 및 방법을 선택하고 3) 실습 연습 및 검토 및 통합 연습 및 검토 및 통합,이 기간 동안 Python의 기본 지식과 고급 기능을 점차적으로 마스터 할 수 있습니다.

웹 개발을위한 파이썬 : 주요 응용 프로그램웹 개발을위한 파이썬 : 주요 응용 프로그램Apr 18, 2025 am 12:20 AM

웹 개발에서 Python의 주요 응용 프로그램에는 Django 및 Flask 프레임 워크 사용, API 개발, 데이터 분석 및 시각화, 머신 러닝 및 AI 및 성능 최적화가 포함됩니다. 1. Django 및 Flask 프레임 워크 : Django는 복잡한 응용 분야의 빠른 개발에 적합하며 플라스크는 소형 또는 고도로 맞춤형 프로젝트에 적합합니다. 2. API 개발 : Flask 또는 DjangorestFramework를 사용하여 RESTFULAPI를 구축하십시오. 3. 데이터 분석 및 시각화 : Python을 사용하여 데이터를 처리하고 웹 인터페이스를 통해 표시합니다. 4. 머신 러닝 및 AI : 파이썬은 지능형 웹 애플리케이션을 구축하는 데 사용됩니다. 5. 성능 최적화 : 비동기 프로그래밍, 캐싱 및 코드를 통해 최적화

Python vs. C : 성능과 효율성 탐색Python vs. C : 성능과 효율성 탐색Apr 18, 2025 am 12:20 AM

Python은 개발 효율에서 C보다 낫지 만 C는 실행 성능이 높습니다. 1. Python의 간결한 구문 및 풍부한 라이브러리는 개발 효율성을 향상시킵니다. 2.C의 컴파일 유형 특성 및 하드웨어 제어는 실행 성능을 향상시킵니다. 선택할 때는 프로젝트 요구에 따라 개발 속도 및 실행 효율성을 평가해야합니다.

Python in Action : 실제 예제Python in Action : 실제 예제Apr 18, 2025 am 12:18 AM

Python의 실제 응용 프로그램에는 데이터 분석, 웹 개발, 인공 지능 및 자동화가 포함됩니다. 1) 데이터 분석에서 Python은 Pandas 및 Matplotlib를 사용하여 데이터를 처리하고 시각화합니다. 2) 웹 개발에서 Django 및 Flask 프레임 워크는 웹 응용 프로그램 생성을 단순화합니다. 3) 인공 지능 분야에서 Tensorflow와 Pytorch는 모델을 구축하고 훈련시키는 데 사용됩니다. 4) 자동화 측면에서 파이썬 스크립트는 파일 복사와 같은 작업에 사용할 수 있습니다.

Python의 주요 용도 : 포괄적 인 개요Python의 주요 용도 : 포괄적 인 개요Apr 18, 2025 am 12:18 AM

Python은 데이터 과학, 웹 개발 및 자동화 스크립팅 필드에 널리 사용됩니다. 1) 데이터 과학에서 Python은 Numpy 및 Pandas와 같은 라이브러리를 통해 데이터 처리 및 분석을 단순화합니다. 2) 웹 개발에서 Django 및 Flask 프레임 워크를 통해 개발자는 응용 프로그램을 신속하게 구축 할 수 있습니다. 3) 자동 스크립트에서 Python의 단순성과 표준 라이브러리가 이상적입니다.

파이썬의 주요 목적 : 유연성과 사용 편의성파이썬의 주요 목적 : 유연성과 사용 편의성Apr 17, 2025 am 12:14 AM

Python의 유연성은 다중 파리가 지원 및 동적 유형 시스템에 반영되며, 사용 편의성은 간단한 구문 및 풍부한 표준 라이브러리에서 나옵니다. 유연성 : 객체 지향, 기능 및 절차 프로그래밍을 지원하며 동적 유형 시스템은 개발 효율성을 향상시킵니다. 2. 사용 편의성 : 문법은 자연 언어에 가깝고 표준 라이브러리는 광범위한 기능을 다루며 개발 프로세스를 단순화합니다.

파이썬 : 다목적 프로그래밍의 힘파이썬 : 다목적 프로그래밍의 힘Apr 17, 2025 am 12:09 AM

Python은 초보자부터 고급 개발자에 이르기까지 모든 요구에 적합한 단순성과 힘에 호의적입니다. 다목적 성은 다음과 같이 반영됩니다. 1) 배우고 사용하기 쉽고 간단한 구문; 2) Numpy, Pandas 등과 같은 풍부한 라이브러리 및 프레임 워크; 3) 다양한 운영 체제에서 실행할 수있는 크로스 플랫폼 지원; 4) 작업 효율성을 향상시키기위한 스크립팅 및 자동화 작업에 적합합니다.

하루 2 시간 안에 파이썬 학습 : 실용 가이드하루 2 시간 안에 파이썬 학습 : 실용 가이드Apr 17, 2025 am 12:05 AM

예, 하루에 2 시간 후에 파이썬을 배우십시오. 1. 합리적인 학습 계획 개발, 2. 올바른 학습 자원을 선택하십시오. 3. 실습을 통해 학습 된 지식을 통합하십시오. 이 단계는 짧은 시간 안에 Python을 마스터하는 데 도움이 될 수 있습니다.

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

DVWA

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

SecList

SecList

SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기