Wie Scrapy Proxy-IP, Benutzeragenten und Cookies verwendet, um Anti-Crawler-Strategien zu vermeiden

Mit der Entwicklung von Webcrawlern beginnen immer mehr Websites und Server, Anti-Crawler-Strategien einzuführen, um zu verhindern, dass Daten in böswilliger Absicht gecrawlt werden. Zu diesen Strategien gehören IP-Blockierung, Erkennung von Benutzeragenten, Überprüfung von Cookies usw. Ohne eine entsprechende Reaktionsstrategie können unsere Crawler leicht als bösartig eingestuft und gesperrt werden. Um diese Situation zu vermeiden, müssen wir daher Richtlinien wie Proxy-IP, Benutzeragent und Cookies im Crawler-Programm des Scrapy-Frameworks anwenden. In diesem Artikel wird detailliert beschrieben, wie diese drei Strategien angewendet werden.

1. Proxy-IP

Proxy-IP kann unsere echte IP-Adresse effektiv umwandeln und so verhindern, dass der Server unser Crawler-Programm erkennt. Gleichzeitig gibt uns die Proxy-IP auch die Möglichkeit, unter mehreren IPs zu kriechen, wodurch vermieden wird, dass eine einzelne IP aufgrund häufiger Anfragen blockiert wird.

In Scrapy können wir Middleware verwenden, um Proxy-IP-Einstellungen zu implementieren. Zuerst müssen wir relevante Konfigurationen in Settings.py vornehmen, zum Beispiel:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
    'scrapy_proxies.RandomProxy': 100,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

In der obigen Konfiguration verwenden wir die Bibliothek scrapy_proxies, um die Proxy-IP-Einstellungen zu implementieren. Unter diesen stellt 100 die Priorität dar, und je kleiner der Wert, desto höher die Priorität. Nach dieser Einstellung wählt Scrapy während des Anfragevorgangs zufällig eine IP-Adresse aus dem Proxy-IP-Pool aus, um die Anfrage zu stellen.

Natürlich können wir auch die Proxy-IP-Quelle anpassen. Beispielsweise können wir die von der kostenlosen Proxy-IP-Website bereitgestellte API verwenden, um die Proxy-IP abzurufen. Das Codebeispiel lautet wie folgt:

class GetProxy(object):
    def __init__(self, proxy_url):
        self.proxy_url = proxy_url

    def get_proxy_ip(self):
        response = requests.get(self.proxy_url)
        if response.status_code == 200:
            json_data = json.loads(response.text)
            proxy = json_data.get('proxy')
            return proxy
        else:
            return None


class RandomProxyMiddleware(object):
    def __init__(self):
        self.proxy_url = 'http://api.xdaili.cn/xdaili-api//greatRecharge/getGreatIp?spiderId=e2f1f0cc6c5e4ef19f884ea6095deda9&orderno=YZ20211298122hJ9cz&returnType=2&count=1'
        self.get_proxy = GetProxy(self.proxy_url)

    def process_request(self, request, spider):
        proxy = self.get_proxy.get_proxy_ip()
        if proxy:
            request.meta['proxy'] = 'http://' + proxy

Im obigen Code definieren wir eine RandomProxyMiddleware-Klasse und verwenden die Requests-Bibliothek, um die Proxy-IP zu erhalten. Durch Hinzufügen der Proxy-IP zum Anforderungsheader können wir die Proxy-IP festlegen.

2. Benutzeragent

Der Benutzeragent ist Teil des Identifizierungsanforderungsheaders, der Informationen wie das Gerät, das Betriebssystem und den Browser enthält, der die Anforderung initiiert hat. Wenn viele Server Anforderungen verarbeiten, verwenden sie die Benutzeragenteninformationen im Anforderungsheader, um zu bestimmen, ob es sich bei der Anforderung um einen Crawler handelt, und führen so eine Anti-Crawler-Verarbeitung durch.

Ähnlich können wir in Scrapy Middleware verwenden, um Benutzeragenteneinstellungen zu implementieren. Zum Beispiel:

class RandomUserAgent(object):
    def __init__(self):
        self.user_agents = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3']
                  
    def process_request(self, request, spider):
        user_agent = random.choice(self.user_agents)
        request.headers.setdefault('User-Agent', user_agent)

Im obigen Code definieren wir eine RandomUserAgent-Klasse und wählen zufällig einen User-Agent als User-Agent-Informationen im Anforderungsheader aus. Selbst wenn unser Crawler eine große Anzahl von Anfragen sendet, kann er so vermeiden, dass er vom Server als bösartiger Crawler eingestuft wird.

3. Cookies

Cookies sind Daten, die der Server über das Set-Cookie-Feld im Antwortheader zurückgibt, wenn er auf eine Anfrage antwortet. Wenn der Browser erneut eine Anfrage an den Server initiiert, werden die vorherigen Cookie-Informationen in den Anfrageheader aufgenommen, um die Anmeldebestätigung und andere Vorgänge durchzuführen.

Ähnlich können wir in Scrapy auch Cookies über Middleware setzen. Zum Beispiel:

class RandomCookies(object):
    def __init__(self):
        self.cookies = {
            'example_cookie': 'example_value'
        }
                  
    def process_request(self, request, spider):
        cookie = random.choice(self.cookies)
        request.cookies = cookie

Im obigen Code definieren wir eine RandomCookies-Klasse und wählen zufällig ein Cookie als Cookie-Informationen im Anforderungsheader aus. Auf diese Weise können wir Anmeldeüberprüfungsvorgänge implementieren, indem wir während des Anfragevorgangs Cookies setzen.

Zusammenfassung

Bei der Verwendung von Scrapy zum Daten-Crawling ist es sehr wichtig, die Ideen und Methoden von Anti-Crawler-Strategien zu vermeiden. In diesem Artikel wird detailliert beschrieben, wie Sie Proxy-IP, Benutzeragenten, Cookies und andere Richtlinien über Middleware in Scrapy festlegen, um das Crawler-Programm versteckter und sicherer zu machen.

Das obige ist der detaillierte Inhalt vonWie Scrapy Proxy-IP, Benutzeragenten und Cookies verwendet, um Anti-Crawler-Strategien zu vermeiden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!