Verwenden Sie Selenium, um Webseiten zu lesen, für die eine Mitgliederanmeldung erforderlich ist

Es ist eine sehr häufige Anforderung, einen Crawler zum Lesen von Webseiteninhalten zu verwenden. Es kann jedoch vorkommen, dass Sie sich vor dem Crawlen des Inhalts bei Ihrem Konto anmelden Bücher ist ein Beispiel hierfür. Sie sehen das folgende Chatfenster:

Da Cookies zum Aufzeichnen von Anmeldeinformationen nach der Anmeldung bei einem Konto verwendet werden, können wir uns zum Lesen einer solchen Webseite zunächst manuell anmelden und dann das Cookie in eine Datei exportieren. Wenn Sie später Selen zum Crawlen der Webseite verwenden, fügen Sie die exportierten Cookies erneut hinzu, organisieren Sie die Webseite neu und der Webinhalt kann normal gelesen werden.

Cookies exportieren

Bitte öffnen Sie mit Selenium zuerst die Webseite, die Sie lesen möchten. Hier ist ein Blog als Beispiel:

>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')

Zu diesem Zeitpunkt melden Sie sich bitte gemäß den normalen Verfahren als Mitglied an und installieren Sie dann das cookie_editor-Plug-in:

Bitte denken Sie daran, zurück zur Homepage des Blogs zu wechseln und das Plug-in zu verwenden, um alle Cookies im JSON-Format zu exportieren:

Der Cookie-Inhalt wird in die Zwischenablage kopiert. Bitte fügen Sie ihn in einen Texteditor ein und archivieren Sie ihn selbst.

Cookies erneut hinzufügen

Dann schließen Sie Selenium und öffnen es wieder:

>>> from selenium import webdriver
>>> driver = webdriver.Edge()
>>> driver.get('https://www.books.com.tw')

Um Cookies hinzuzufügen, müssen Sie sich auf einer Webseite in derselben Domain wie das Cookie befinden. Denken Sie also daran, zuerst den Blog zu öffnen, um auf die Webseite zuzugreifen. Anschließend können Sie die Datei, in der das Cookie gespeichert ist, öffnen und in ein Python-Wörterbuch laden:

>>> import json
>>> with open('cookies.json') as f:
...     cookies = json.load(f)

Fügen Sie die Cookies einzeln wieder hinzu:

>>> for cookie in cookies:
...     driver.add_cookie(cookie)

An dieser Stelle sollte die folgende Fehlermeldung angezeigt werden:

Traceback (most recent call last):
  File "<stdin>", line 3, in <module>
  File "C:\Users\meebo\code\python\poetry_env\py310\.venv\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 670, in add_cookie
    assert cookie_dict["sameSite"] in ["Strict", "Lax", "None"]
AssertionError
</module></stdin>

Dies liegt daran, dass in den vom Cookie-Editor exportierten Daten das sameSite-Attribut Null verwendet, um „no_restriction“ darzustellen, was bedeutet, dass es keine Einschränkung gibt und es sich um dieselbe Website handeln muss, Selenium jedoch nur „Strict“ und „Lax“ erkennt ", „Keine“ Diese drei Einschränkungen werden daher als Fehler diagnostiziert. Wir müssen die JSON-Datei manuell ändern und alle sameSite-Attributwerte auf „Keine“ ändern (beachten Sie, dass es sich um Zeichenfolgen handelt). Bitte überprüfen Sie auch, ob die Domäne vorhanden ist nicht „.books.com.“ tw“ Cookie-Löschung:

[
    {
        "domain": ".books.com.tw",
        "expirationDate": 1767941747.633402,
        "hostOnly": false,
        "httpOnly": false,
        "name": "_ga_TR763QQ559",
        "path": "/",
        "sameSite": null,
        "secure": false,
        "session": false,
        "storeId": null,
        "value": "GS1.1.1733381542.1.1.1733381747.0.0.0"
    },
    ...
    {
        "domain": ".books.com.tw",
        "expirationDate": 1748933733,
        "hostOnly": false,
        "httpOnly": false,
        "name": "__eoi",
        "path": "/",
        "sameSite": "no_restriction",
        "secure": true,
        "session": false,
        "storeId": null,
        "value": "ID=7f42c4647467b5fb:T=1733381733:RT=1733381733:S=AA-AfjbpJCe1kw2klEX0xW55n9CY"
    },
    ...
]

Nach der Änderung laden Sie die Cookies neu und fügen sie hinzu. Es treten keine Fehler auf.

Aktualisieren Sie die Webseite, damit Cookies wirksam werden

Nach dem Hinzufügen von Cookies ist der angezeigte Bildschirm immer noch der eines nicht angemeldeten Bildschirms:

Die Seite muss aktualisiert werden, damit das Cookie wirksam wird:

>>> driver.refresh()

Was Sie sehen, ist die Seite, auf der Sie sich als Mitglied anmelden können:

Auf diese Weise können Sie Selen zum Lesen von Seiten verwenden, für die eine Mitgliederanmeldung erforderlich ist.

Als letztes müssen Sie daran erinnern, dass Cookies gültig sind. Wenn Sie sich nach einer gewissen Zeit nicht mehr mit dem zuvor gespeicherten Cookie anmelden können, befolgen Sie einfach die oben genannten Schritte, um das Cookie erneut zu erhalten.

Das obige ist der detaillierte Inhalt vonVerwenden Sie Selenium, um Webseiten zu lesen, für die eine Mitgliederanmeldung erforderlich ist. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!