亚马逊解析简单且完全由您自己完成
- PHPz原创
- 2024-08-31 06:04:331177浏览
我在互联网上发现了一个脚本，可以让你解析来自亚马逊的产品卡。我只是需要一个解决这样的问题的方法。
我在寻找一种解析亚马逊产品卡的方法时绞尽脑汁。问题在于，亚马逊针对不同的输出使用不同的设计选项，特别是 - 如果您需要使用搜索查询“bags”解析卡片 - 卡片将按照我的需要垂直排列，但如果您采取，例如，“T恤” – 然后卡片将水平排列，这样脚本就会出错，它可以打开页面，但不想滚动。
此外，在阅读了用户对如何绕过亚马逊验证码感到困惑的各种文章后，我升级了脚本，现在它可以绕过验证码（它与 2captcha 一起使用）。该脚本在每次加载新页面后都会检查页面上是否存在验证码，如果出现验证码，则会向 2capcha 服务器发送请求，并在收到解决方案后替换它并继续工作。
然而，如何绕过验证码并不是最困难的问题，因为这在当今是一件微不足道的任务。更紧迫的问题是如何让脚本不仅适用于垂直排列的产品卡，还适用于水平排列的产品卡。
下面我将详细描述该脚本包含哪些内容，演示其工作原理，如果您可以帮助解决问题，如果您知道在脚本中添加（更改）什么以便它可以在卡片的水平设置上工作，我将不胜感激。
目前，该脚本至少可以在其有限的功能上为某人提供帮助。
那么，让我们把脚本一点一点地拆开吧！
准备
首先，脚本导入完成任务所需的模块
从 selenium 导入 webdriver
从 selenium.webdriver.common.keys 导入密钥
从 selenium.webdriver.common.action_chains 导入 ActionChains
从 selenium.webdriver.support.ui 导入 WebDriverWait
从 selenium.webdriver.support 导入预期条件作为 EC
导入 csv
导入操作系统
从时间导入睡眠
导入请求
让我们把它拆成几部分：
从 selenium 导入 webdriver
导入 webdriver 类，它允许您通过脚本控制浏览器（在我的例子中是 Firefox）
来自 selenium.webdriver.common.by 导入
导入 theBy 类，脚本将通过该类搜索要通过 XPath 解析的元素（它可以搜索其他属性，但在本例中将使用 Xpath）
从 selenium.webdriver.common.keys 导入密钥
导入 Keys 类，该类将用于模拟击键，在此脚本中，它将向下滚动页面 Keys.PAGE_DOWN
从 selenium.webdriver.common.action_chains 导入 ActionChains
导入 ActionChains 类来创建复杂的顺序操作，在我们的例子中 - 单击 PAGE_DOWN 按钮并等待页面上的所有元素加载（因为在 Amazon 上卡片在滚动时加载）
从 selenium.webdriver.support.ui 导入 WebDriverWait
导入 WebDriverWait 类，该类会等待加载我们要查找的信息，例如产品描述，我们将通过 Xpath 搜索该信息
从selenium.webdriver.support导入expected_conditions作为EC
它导入了expected_conditions类（缩写为EC），它与前一个类一起工作，并告诉WebDriverWait它需要等待哪个特定条件。这提高了脚本的可靠性，使其不会开始与尚未加载的内容交互。
导入 csv
导入 csv 模块以处理 csv 文件。
导入操作系统
导入 os 模块以与操作系统配合使用（创建目录、检查文件是否存在等）。
从时间导入睡眠
我们导入 sleep 函数 - 该函数会将脚本暂停特定时间（在我的例子中为 2 秒，但您可以设置更多），以便元素在滚动时加载。
导入请求
导入用于发送 HTTP 请求的 requests 库，以与 2captcha 识别服务交互。
配置
导入所有内容后，脚本开始配置浏览器以进行工作，特别是：
安装API密钥以访问2captcha服务
# 2Captcha 的 API 密钥
API_KEY =
该脚本包含一个为浏览器安装的用户代理（当然可以更改）。之后，浏览器将以指定的设置启动。
`user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 如 Gecko) Chrome/91.0.4472.124 Safari/537.36"
选项 = webdriver.FirefoxOptions()
options.add_argument(f"user-agent={user_agent}")
driver = webdriver.Firefox(options=options)
`
接下来是验证码解决方案模块。这正是用户在搜索如何解决验证码时寻找的地方。我们很长时间不会分析这段代码，因为它没有什么特别的问题。
简而言之，该脚本在每次页面加载后都会检查页面上是否存在验证码，如果发现它，则通过将其发送到 2captcha 服务器来解决它。如果没有验证码，则继续执行。
`defsolve_captcha(驱动程序):
# 检查页面上是否存在验证码
尝试：
captcha_element = driver.find_element(By.CLASS_NAME, 'g-recaptcha')
如果验证码元素：
print("检测到验证码。正在解决...")
site_key = captcha_element.get_attribute('data-sitekey')
current_url = driver.current_url
# Send captcha request to 2Captcha
captcha_id = requests.post(
'http://2captcha.com/in.php',
data={
'key': API_KEY,
'method': 'userrecaptcha',
'googlekey': site_key,
'pageurl': current_url
}
).text.split('|')[1]
# Wait for the captcha to be solved
recaptcha_answer = ''
while True:
sleep(5)
response = requests.get(f"http://2captcha.com/res.php?key={API_KEY}&action=get&id={captcha_id}")
if response.text == 'CAPCHA_NOT_READY':
continue
if 'OK|' in response.text:
recaptcha_answer = response.text.split('|')[1]
break
# Inject the captcha answer into the page
driver.execute_script(f'document.getElementById("g-recaptcha-response").innerHTML = "{recaptcha_answer}";')
driver.find_element(By.ID, 'submit').click()
sleep(5)
print("Captcha solved.")
except Exception as e:
print("No captcha found or error occurred:", e)
解析
接下来是负责对页面进行排序、加载和滚动的代码部分
尝试：
base_url = "https://www.amazon.in/s?k=bags"
for page_number in range(1, 10):
page_url = f"{base_url}&page={page_number}"
driver.get(page_url)
driver.implicitly_wait(10)
solve_captcha(driver)
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')))
for _ in range(5):
ActionChains(driver).send_keys(Keys.PAGE_DOWN).perform()
sleep(2)
`
接下来是产品数据的收集。最重要的部分。在此部分中，脚本检查加载的页面并获取从那里指定的数据。在我们的例子中，它是产品名称、评论数量、价格、URL、产品评级。
`product_name_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')
rating_number_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-base s-underline-text"]')
star_ rating_elements = driver.find_elements(By.XPATH, '//span[@class="a-icon-alt"]')
Price_elements = driver.find_elements(By.XPATH, '//span[@class="a-price-whole"]')
Product_urls = driver.find_elements(By.XPATH, '//a[@class="a-link-normal s-underline-text s-underline-link-text s-link-style a-text-normal"]')
product_names = [element.text for element in product_name_elements]
rating_numbers = [element.text for element in rating_number_elements]
star_ratings = [element.get_attribute('innerHTML') for element in star_rating_elements]
prices = [element.text for element in price_elements]
urls = [element.get_attribute('href') for element in product_urls]
`
接下来，将指定的数据上传到文件夹（为每个页面创建一个csv文件，并将其保存到输出文件文件夹中）。如果该文件夹丢失，脚本会创建它。
`output_directory = "输出文件"
如果不是 os.path.exists(output_directory):
os.makedirs(输出目录)
with open(os.path.join(output_directory, f'product_details_page_{page_number}.csv'), 'w', newline='', encoding='utf-8') as csvfile:
csv_writer = csv.writer(csvfile)
csv_writer.writerow(['Product Urls', 'Product Name', 'Product Price', 'Rating', 'Number of Reviews'])
for url, name, price, star_rating, num_ratings in zip(urls, product_names, prices, star_ratings, rating_numbers):
csv_writer.writerow([url, name, price, star_rating, num_ratings])
`
最后阶段是工作完成和资源释放。
最后：
driver.quit()
完整脚本
`从 selenium 导入 webdriver
从 selenium.webdriver.common.by 导入 By
从 selenium.webdriver.common.keys 导入密钥
从 selenium.webdriver.common.action_chains 导入 ActionChains
从 selenium.webdriver.support.ui 导入 WebDriverWait
从 selenium.webdriver.support 导入预期条件作为 EC
导入 csv
导入操作系统
从时间导入睡眠
导入请求
2Captcha 的 API 密钥
API_KEY = "您的 API 密钥"
设置自定义用户代理来模仿真实的浏览器
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 如 Gecko) Chrome/91.0.4472.124 Safari/537.36"
选项 = webdriver.FirefoxOptions()
options.add_argument(f"user-agent={user_agent}")
driver = webdriver.Firefox(options=options)
defsolve_captcha(驱动程序):
# 检查页面上是否存在验证码
尝试：
captcha_element = driver.find_element(By.CLASS_NAME, 'g-recaptcha')
如果验证码元素：
print("检测到验证码。正在解决...")
site_key = captcha_element.get_attribute('data-sitekey')
current_url = driver.current_url
# Send captcha request to 2Captcha
captcha_id = requests.post(
'http://2captcha.com/in.php',
data={
'key': API_KEY,
'method': 'userrecaptcha',
'googlekey': site_key,
'pageurl': current_url
}
).text.split('|')[1]
# Wait for the captcha to be solved
recaptcha_answer = ''
while True:
sleep(5)
response = requests.get(f"http://2captcha.com/res.php?key={API_KEY}&action=get&id={captcha_id}")
if response.text == 'CAPCHA_NOT_READY':
continue
if 'OK|' in response.text:
recaptcha_answer = response.text.split('|')[1]
break
# Inject the captcha answer into the page
driver.execute_script(f'document.getElementById("g-recaptcha-response").innerHTML = "{recaptcha_answer}";')
driver.find_element(By.ID, 'submit').click()
sleep(5)
print("Captcha solved.")
except Exception as e:
print("No captcha found or error occurred:", e)
尝试：
# 起始页 URL
base_url = "https://www.amazon.in/s?k=bags"
for page_number in range(1, 2):
page_url = f"{base_url}&page={page_number}"
driver.get(page_url)
driver.implicitly_wait(10)
# Attempt to solve captcha if detected
solve_captcha(driver)
# Explicit Wait
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')))
for _ in range(5):
ActionChains(driver).send_keys(Keys.PAGE_DOWN).perform()
sleep(2)
product_name_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-medium a-color-base a-text-normal"]')
rating_number_elements = driver.find_elements(By.XPATH, '//span[@class="a-size-base s-underline-text"]')
star_rating_elements = driver.find_elements(By.XPATH, '//span[@class="a-icon-alt"]')
price_elements = driver.find_elements(By.XPATH, '//span[@class="a-price-whole"]')
product_urls = driver.find_elements(By.XPATH, '//a[@class="a-link-normal s-underline-text s-underline-link-text s-link-style a-text-normal"]')
# Extract and print the text content of each product name, number of ratings, and star rating, urls
product_names = [element.text for element in product_name_elements]
rating_numbers = [element.text for element in rating_number_elements]
star_ratings = [element.get_attribute('innerHTML') for element in star_rating_elements]
prices = [element.text for element in price_elements]
urls = [element.get_attribute('href') for element in product_urls]
sleep(5)
output_directory = "output files"
if not os.path.exists(output_directory):
os.makedirs(output_directory)
with open(os.path.join(output_directory, f'product_details_page_{page_number}.csv'), 'w', newline='', encoding='utf-8') as csvfile:
csv_writer = csv.writer(csvfile)
csv_writer.writerow(['Product Urls', 'Product Name', 'Product Price', 'Rating', 'Number of Reviews'])
for url, name, price, star_rating, num_ratings in zip(urls, product_names, prices, star_ratings, rating_numbers):
csv_writer.writerow([url, name, price, star_rating, num_ratings])
最后：
driver.quit()
`
这样脚本就不会出现错误，但仅适用于垂直产品卡。以下是该脚本如何工作的示例。
如果您对此有什么想说的，我很乐意在评论中讨论。
以上是亚马逊解析简单且完全由您自己完成的详细内容。更多信息请关注PHP中文网其他相关文章！