Python을 사용하여 Amazon 제품 정보 얻기

소개

국내 쇼핑사이트에 비해 아마존 홈페이지는 파이썬의 가장 기본적인 요청을 직접 활용하여 요청을 할 수 있습니다. 액세스가 너무 빈번하지 않으며 보호 메커니즘을 트리거하지 않고도 원하는 데이터를 얻을 수 있습니다. 이번에는 다음 세 부분을 통해 기본 크롤링 프로세스를 간략하게 소개하겠습니다.

• 요청의 get 요청을 사용하여 Amazon 목록 및 세부 정보 페이지의 페이지 콘텐츠를 가져옵니다.

• css/xpath를 사용하여 콘텐츠 획득 및 핵심 데이터 획득

• 동적 IP의 역할 및 사용 방법

1. Amazon 목록 페이지 정보 가져오기

게임 영역을 예로 들어보세요:

제품 이름, 세부 정보 링크, 기타 콘텐츠에 대한 추가 액세스 등 목록에서 얻을 수 있는 제품 정보를 가져옵니다.

requests.get()을 사용하여 웹 콘텐츠를 가져오고, 헤더를 설정하고, xpath 선택기를 사용하여 관련 태그의 콘텐츠를 선택하세요.

import requests  
from parsel import Selector  
from urllib.parse import urljoin  
   
spiderurl = 'https://www.amazon.com/s?i=videogames-intl-ship'  
headers = {  
    "authority": "www.amazon.com",  
    "user-agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X) AppleWebKit/603.3.8 (KHTML, like Gecko) Mobile/14G60 MicroMessenger/6.5.19 NetType/4G Language/zh_TW",  
}  
resp = requests.get(spiderurl, headers=headers)  
content = resp.content.decode('utf-8')  
select = Selector(text=content)  
nodes = select.xpath("//a[@title='product-detail']")  
for node in nodes:  
    itemUrl = node.xpath("./@href").extract_first()  
    itemName = node.xpath("./div/h2/span/text()").extract_first()  
    if itemUrl and itemName:  
        itemUrl = urljoin(spiderurl,itemUrl)#用urljoin方法凑完整链接  
        print(itemUrl,itemName)

현재 목록 페이지에서 현재 사용할 수 있는 정보는 여기에서 얻었습니다. 시간:

II, 세부정보 페이지 정보 가져오기

세부정보 페이지 입력:

세부정보 페이지에 들어간 후 더 많은 콘텐츠를 얻을 수 있습니다.

requests.get()을 사용하여 웹을 가져옵니다. content를 클릭하고 CSS를 사용하여 관련 태그의 콘텐츠를 선택합니다.

res = requests.get(itemUrl, headers=headers)  
content = res.content.decode('utf-8')  
Select = Selector(text=content)  
itemPic = Select.css('#main-image::attr(src)').extract_first()  
itemPrice = Select.css('.a-offscreen::text').extract_first()  
itemInfo = Select.css('#feature-bullets').extract_first()  
data = {}  
data['itemUrl'] = itemUrl  
data['itemName'] = itemName  
data['itemPic'] = itemPic  
data['itemPrice'] = itemPrice  
data['itemInfo'] = itemInfo  
print(data)

이때 세부 페이지 데이터의 정보가 생성되었습니다.

현재 관련된 내용은 Amazon 및 해당 정보를 얻으려면 CSS/xpath를 사용하십시오.

3. 프록시 설정

현재 국내 아마존 접속이 매우 불안정하여 접속이 안될 확률이 높습니다. 정말로 Amazon의 정보를 크롤링해야 한다면 안정적인 프록시를 사용하는 것이 가장 좋습니다. 여기서는 5억 개의 트래픽을 무료로 얻을 수 있는 ipidia의 프록시를 사용합니다. 프록시가 있으면 접속 성공률이 높아지고 속도도 빨라집니다.

웹사이트는 여기입니다: http://www.ipidea.net/?utm-source=PHP&utm-keyword=?PHP

프록시를 사용하는 방법에는 두 가지가 있습니다. 하나는 프록시를 통해 IP 주소를 얻는 것입니다. api를 사용하고 다른 하나는 계정 비밀번호를 사용하는 것입니다. 다음과 같은 방법을 사용하십시오.

3.1.1 api를 사용하여 에이전트를 얻습니다.

3.2.1 에이전트 획득을 위한 계정 비밀번호(등록 주소:

http://www.ipidea.net/?utm-source=PHP&utm-keyword=?PHP)

계정 및 비밀번호 인증이기 때문에, 하위 계정을 만들려면 계정 센터에 가서 정보를 입력해야 합니다.

하위 계정을 만든 후 계정 번호와 비밀번호를 기반으로 링크를 얻습니다. 3.2. 2 계정 비밀번호에 대한 에이전트 코드 얻기

def getProxies():  
    # 获取且仅获取一个ip  
    api_url = '生成的api链接'  
    res = requests.get(api_url, timeout=5)  
    try:  
        if res.status_code == 200:  
            api_data = res.json()['data'][0]  
            proxies = {  
                'http': 'http://{}:{}'.format(api_data['ip'], api_data['port']),  
                'https': 'http://{}:{}'.format(api_data['ip'], api_data['port']),  
            }  
            print(proxies)  
            return proxies  
        else:  
            print('获取失败')  
    except:  
        print('获取失败')

에이전트 사용 후 Amazon 제품 정보 획득이 많이 개선되었습니다. 이전 코드에서는 요청 요청 전에 프록시 획득 방법을 호출하여 다양한 연결 오류를 보고했습니다. 이 메서드는 프록시 IP를 반환하고 요청 요청 매개변수를 추가하여 프록시 요청을 구현합니다.

四、全部代码

# coding=utf-8  
   
import requests  
from parsel import Selector  
from urllib.parse import urljoin  
   
def getProxies():  
    # 获取且仅获取一个ip  
    api_url = '生成的api链接'  
    res = requests.get(api_url, timeout=5)  
    try:  
        if res.status_code == 200:  
            api_data = res.json()['data'][0]  
            proxies = {  
                'http': 'http://{}:{}'.format(api_data['ip'], api_data['port']),  
                'https': 'http://{}:{}'.format(api_data['ip'], api_data['port']),  
            }  
            print(proxies)  
            return proxies  
        else:  
            print('获取失败')  
    except:  
        print('获取失败')  
   
spiderurl = 'https://www.amazon.com/s?i=videogames-intl-ship'  
headers = {  
    "authority": "www.amazon.com",  
    "user-agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X) AppleWebKit/603.3.8 (KHTML, like Gecko) Mobile/14G60 MicroMessenger/6.5.19 NetType/4G Language/zh_TW",  
}  
proxies = getProxies()  
resp = requests.get(spiderurl, headers=headers, proxies=proxies)  
content = resp.content.decode('utf-8')  
select = Selector(text=content)  
nodes = select.xpath("//a[@title='product-detail']")  
for node in nodes:  
    itemUrl = node.xpath("./@href").extract_first()  
    itemName = node.xpath("./div/h2/span/text()").extract_first()  
    if itemUrl and itemName:  
        itemUrl = urljoin(spiderurl,itemUrl)  
        proxies = getProxies()  
        res = requests.get(itemUrl, headers=headers, proxies=proxies)  
        content = res.content.decode('utf-8')  
        Select = Selector(text=content)  
        itemPic = Select.css('#main-image::attr(src)').extract_first()  
        itemPrice = Select.css('.a-offscreen::text').extract_first()  
        itemInfo = Select.css('#feature-bullets').extract_first()  
        data = {}  
        data['itemUrl'] = itemUrl  
        data['itemName'] = itemName  
        data['itemPic'] = itemPic  
        data['itemPrice'] = itemPrice  
        data['itemInfo'] = itemInfo  
        print(data)

通过上面的步骤，可以实现最基础的亚马逊的信息获取。

目前只获得最基本的数据，若想获得更多也可以自行修改xpath/css选择器去拿到你想要的内容。而且稳定的动态IP能是你进行请求的时候少一点等待的时间，无论是编写中的测试还是小批量的爬取，都能提升工作的效率。以上就是全部的内容。 

위 내용은 Python을 사용하여 Amazon 제품 정보 얻기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!