使用 Python 抓取 eBay 的逐步指南

當您深入網頁抓取世界時，您將學到的第一課之一就是代理商的重要性。如果您在抓取資料時曾遭遇 IP 被封的經歷，您就會知道那種痛苦。代理（尤其是移動代理）是您的秘密武器。為什麼需要移動代理？因為它們模仿了日常用戶在手機上瀏覽的行為。與資料中心代理程式相比，它們被標記或阻止的可能性較小。 eBay 與許多其他網站一樣，會主動監控流量模式，因此從一個 IP 發送太多請求可能會給您帶來巨大的麻煩。有了行動代理，您基本上就融入了人群。可以把它想像成在每個人都被舞池分散注意力的情況下不知不覺地溜進聚會。我可以推薦來自 spaw.co 的波蘭行動代理，我最近使用了它們，並且對支援的品質和速度感到驚訝。

現在您已經掌握了這些知識，讓我們捲起袖子，深入了解使用 Python 抓取 eBay 的細節。本指南將引導您從設置環境到從平台提取數據，所有這些都不會使它聽起來像一個無聊的講座。

搭建舞台

在編寫一行程式碼之前，您需要正確的工具。 Python 是抓取的完美選擇——它就像程式設計師的瑞士軍刀。首先確保您的電腦上安裝了 Python。如果沒有，請前往 python.org 並取得最新版本。當您這樣做時，您還需要一些庫。 Requests 和 BeautifulSoup 將分別是發送 HTTP 請求和解析 HTML 的首選組合。

如果您喜歡乾淨的工作空間（誰不喜歡？），請建立一個專用的專案資料夾。這將使一切保持整潔，並防止您感覺自己在數位垃圾抽屜中工作。

了解 eBay 的結構

網頁抓取不僅僅是在網站上扔程式碼並希望它能保留下來。您需要了解頁面的佈局。在瀏覽器中開啟 eBay 並選擇一個類別，例如筆記型電腦。右鍵單擊列表並點擊“檢查”。這將打開開發人員工具並讓您了解幕後情況。如果您是齒輪迷，這就像查看汽車引擎一樣 — 只不過這個引擎是由 HTML、CSS 和 JavaScript 組成的。

您正在尋找的是您想要抓取的資料的結構。產品名稱、價格。一旦您知道目標資料所在的位置，抓取就會變得更加容易。

發送您的第一個請求

抓取的第一步是取得頁面的 HTML 內容。使用 requests 庫，您可以向 eBay 發送 GET 請求並取得其 HTML。

import requests

url = 'https://www.ebay.com/sch/i.html?_nkw=laptop'
response = requests.get(url)

if response.status_code == 200:
    print("Successfully fetched the webpage!")
else:
    print("Failed to fetch the webpage.")

執行此腳本，您將獲得包含頁面原始 HTML 的回應。如果您看到狀態代碼 200，則表示您可以開始操作了。如果沒有，你可能會碰壁。這就是代理發揮作用的地方。如果沒有它們，eBay 可能會將您的請求標記為可疑，尤其是當您在短時間內發送多個請求時。

解析 HTML

取得 HTML 只是成功的一半。解析它就是神奇發生的地方。 BeautifulSoup 是您用來擷取特定資料點的工具。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')

現在，頁面的整個 HTML 結構已載入到 soup 物件中，您可以開始搜尋先前檢查過的元素。

假設您想要頁面上的產品標題。您可能會發現它們被包裹在具有特定類別的 h3 標籤中。使用 BeautifulSoup 找到並提取它們。

titles = soup.find_all('h3', class_='s-item__title')

for title in titles:
    print(title.text)

閱讀輸出感覺就像發現寶藏，不是嗎？您終於看到原始資料了。

處理分頁

僅抓取一頁是不夠的。 eBay 清單通常跨越多個頁面，如果您想要完整的資料集，則需要處理分頁。

檢查頁面上的「下一步」按鈕。您會發現它的 URL 包含隨每個頁面而變化的參數。提取該模式並編寫一個循環來遍歷所有頁面。

base_url = 'https://www.ebay.com/sch/i.html?_nkw=laptop&_pgn='

for page in range(1, 6):  # Adjust the range as needed
    url = f"{base_url}{page}"
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # Extract data here

不過要小心。快速發送請求可能會引發危險信號。使用 time.sleep() 函數在請求之間引入延遲，為您提供更自然的瀏覽足跡。

儲存您的數據

現在您正在抓取數據，您需要將其保存在某個地方。 CSV 檔案是一個簡單而強大的選擇。 Python 的 csv 函式庫讓您只需幾行程式碼即可將資料匯出為結構化格式。

import csv

with open('ebay_data.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Title'])  # Add more headers if needed

    for title in titles:
        writer.writerow([title.text])

當您開啟 CSV 檔案時，您會感覺自己像一位資料科學家正在仔細研究他們的發現。

避免障礙

網頁抓取並非一帆風順。有時您會遇到驗證碼挑戰或發現您需要的資料是透過 JavaScript 動態載入的。在這些情況下，您將需要像 Selenium 這樣的工具，它可以自動化瀏覽器並允許您像真實用戶一樣與頁面互動。

Selenium 可以處理繁重的工作，但它比使用 requests 和 BeautifulSoup 慢。僅在必要時使用它。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.ebay.com/sch/i.html?_nkw=laptop')

html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

# Extract data here
driver.quit()

如果 eBay 決定向您拋出另一個曲線球，例如阻止代理，您可以切換到輪換代理。這些會自動調整您的 IP 位址，讓您領先一步。

總結

eBay 網頁抓取不僅是一項技術任務；更是一項任務。這是一項需要耐心、策略和創造力的技能。從代理開始為順利操作奠定了基礎，而 BeautifulSoup 和 Selenium 等工具為您提供了提取所需資料的方法。

當你練習和完善你的方法時，你會發現一些技巧和捷徑，讓這個過程更加順利。誰知道呢？您正在培養的技能可能會帶來新的機會，無論是在商業、研究還是熱情專案中。

那麼，你還在等什麼？啟動 Python，喝杯咖啡，然後開始抓取。數據就在那裡，等你來發現。

以上是使用 Python 抓取 eBay 的逐步指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！