Heim >Backend-Entwicklung >PHP-Tutorial >javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen
javascript – Python schreibt einen Webcrawler, um die nach der Anmeldung sichtbaren Informationen zu crawlen
- WBOYOriginal
- 2016-12-01 00:25:481534Durchsuche
Der Quellcode auf einer Webseite ist wie folgt:
2. Verwenden Sie phantomJS Selenium, um den Code abzurufen und mit BeautifulSoup zu analysieren, wie in der Abbildung gezeigt:
3. Versucht, die Sitzung zum Abrufen von Cookies zu verwenden:
Die auf der Anmeldeseite erhaltenen Cookies sind alle unterschiedlich:
Könnten Sie mir bitte sagen, wie ich die Informationen extrahieren kann, die Sie im Quellcode sehen?
Vielen Dank! ! !
Antwortinhalt:
Der Quellcode auf einer Webseite ist wie folgt:
2. Verwenden Sie phantomJS Selenium, um den Code abzurufen und mit BeautifulSoup zu analysieren, wie in der Abbildung gezeigt:
3. Versucht, die Sitzung zum Abrufen von Cookies zu verwenden:
Die auf der Anmeldeseite erhaltenen Cookies sind alle unterschiedlich:
Könnten Sie mir bitte sagen, wie ich die Informationen extrahieren kann, die Sie im Quellcode sehen?
Vielen Dank! ! !
Es wurde behoben~
Mein Anmeldefenster kann nicht gefunden werden. .
Ich bin neu im Crawlen, daher sind meine Fragen von geringem Wert. Bitte verzeihen Sie mir!
In Verbindung stehende Artikel
Mehr sehen- So verwenden Sie cURL zum Implementieren von Get- und Post-Anfragen in PHP
- So verwenden Sie cURL zum Implementieren von Get- und Post-Anfragen in PHP
- So verwenden Sie cURL zum Implementieren von Get- und Post-Anfragen in PHP
- So verwenden Sie cURL zum Implementieren von Get- und Post-Anfragen in PHP
- Alle Ausdruckssymbole in regulären Ausdrücken (Zusammenfassung)