suchen
HeimBackend-EntwicklungPython-TutorialPython crawlt Google-Suchergebnisse

Ich habe vor einiger Zeit untersucht, wie man Python zum Crawlen von Suchmaschinenergebnissen verwendet. Ich habe alle Probleme aufgezeichnet, auf die ich gestoßen bin Zukunft. Machen Sie Umwege.

1. Auswahl der Suchmaschine

Die Auswahl einer guten Suchmaschine bedeutet, dass Sie genauere Suchergebnisse erhalten. Ich habe vier Suchmaschinen verwendet: Google, Bing, Baidu und Yahoo!. Als Programmierer ist Google meine erste Wahl. Aber als ich sah, dass mein Lieblings-Google mir nur eine Menge JS-Code zurückgab, gab es überhaupt keine Suchergebnisse, die ich wollte. Also wechselte ich zum Bing-Lager. Nachdem ich es eine Weile verwendet hatte, stellte ich fest, dass die von Bing zurückgegebenen Suchergebnisse nicht ideal für mein Problem waren. Gerade als ich am Verzweifeln war, rettete mich Google. Es stellt sich heraus, dass Google eine andere Suchmethode hat, um auf die Benutzer einzugehen, die die Verwendung von js in ihren Browsern verbieten:

https://www.google.com .hk/search?hl= en&q=hello

 hl gibt die zu durchsuchende Sprache an und q ist das Schlüsselwort, nach dem Sie suchen möchten. Nun, dank Google enthält die Suchergebnisseite den Inhalt, den ich crawlen möchte.

PS: Viele Methoden im Internet verwenden Python zum Crawlen von Google-Suchergebnissen oder verwenden https://ajax.googleapis.com/ajax/services/search/web... . Es ist zu beachten, dass diese Methode von Google nicht mehr empfohlen wird, siehe https://developers.google.com/web-search/docs/. Google stellt jetzt eine benutzerdefinierte Such-API zur Verfügung, die API ist jedoch auf 100 Anfragen pro Tag begrenzt. Wenn Sie mehr benötigen, können Sie nur dafür bezahlen.

2. Python crawlt und analysiert Webseiten

Die Verwendung von Python zum Crawlen von Webseiten ist sehr praktisch, siehe Code:

def search(self, queryStr):
     queryStr = urllib2.quote(queryStr)
     url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
     request = urllib2.Request(url)
     response = urllib2.urlopen(request)
     html = response.read()
     results = self.extractSearchResults(html)

Der HTML-Code In Zeile 6 steht der Quellcode der von uns gecrawlten Suchergebnisseite. Studenten, die Python verwendet haben, werden feststellen, dass Python sowohl urllib- als auch urllib2-Module bereitstellt, die sich beide auf URL-Anfragen beziehen. Sie können jedoch nur URLs empfangen, während urllib2 eine Instanz der Request-Klasse akzeptieren kann Legen Sie die Header der URL-Anfrage fest, was bedeutet, dass Sie Ihren Benutzeragenten usw. verschleiern können (wird unten verwendet).

Da wir nun Python verwenden können, um Webseiten zu crawlen und zu speichern, können wir anschließend die gewünschten Suchergebnisse aus der Quellcodeseite extrahieren. Python stellt das HTMLparser-Modul zur Verfügung, dessen Verwendung jedoch relativ umständlich ist. Hier empfehlen wir BeautifulSoup, ein sehr nützliches Webseiten-Analysepaket. Auf der Website von Judge gibt es eine ausführliche Einführung in die Verwendung von BeautifulSoup.

Die Verwendung des obigen Codes ist für eine kleine Anzahl von Abfragen relativ in Ordnung, aber wenn Sie Tausende von Abfragen durchführen möchten, ist die obige Methode nicht mehr effektiv Wenn Sie häufig einen Computer zum Crawlen der Google-Suchergebnisse verwenden, blockiert Google Ihre IP-Adresse und sendet Ihnen in Kürze eine 503-Fehlerseite zurück. Dies ist nicht das Ergebnis, das wir wollen, also werden wir weiter nachforschen

Wie bereits erwähnt, können wir mit urllib2 die Header der URL-Anfrage festlegen und unseren Benutzeragenten verschleiern. Einfach ausgedrückt ist der Benutzeragent ein spezielles Netzwerkprotokoll, das von Anwendungen wie Client-Browsern verwendet wird. Es wird jedes Mal an den Server gesendet, wenn der Browser (E-Mail-Client/Suchmaschinen-Spider) eine HTTP-Anfrage stellt, und der Server weiß, um welchen Browser es sich handelt (E-Mail-Client/Suchmaschinen-Spider) wird für den Zugriff verwendet. Um bestimmte Zwecke zu erreichen, müssen wir manchmal den Server in gutem Glauben täuschen und ihm mitteilen, dass ich keinen Computer verwende, um auf Sie zuzugreifen.

Unser Code sieht also so aus:

user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0', \
         'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0', \
         'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \
         (KHTML, like Gecko) Element Browser 5.0', \
         'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', \
         'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', \
         'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', \
         'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \
         Version/6.0 Mobile/10A5355d Safari/8536.25', \
         'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \
         Chrome/28.0.1468.0 Safari/537.36', \
         'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)']
 def search(self, queryStr):
     queryStr = urllib2.quote(queryStr)
     url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
     request = urllib2.Request(url)
     index = random.randint(0, 9)
     user_agent = user_agents[index]
     request.add_header('User-agent', user_agent)
     response = urllib2.urlopen(request)
     html = response.read()
     results = self.extractSearchResults(html)

Lassen Sie sich nicht von der user_agents-Liste einschüchtern. Sie besteht tatsächlich aus 10 Benutzeragentenzeichenfolgen Benötigen Sie mehr Benutzeragenten, sehen Sie sich bitte hier UserAgentString an.

Die Zeilen 17–19 zeigen die zufällige Auswahl einer Benutzeragentenzeichenfolge und die anschließende Verwendung der add_header-Methode der Anfrage, um einen Benutzeragenten zu verschleiern.

Durch die Tarnung des Benutzeragenten können wir weiterhin Suchmaschinenergebnisse crawlen. Wenn dies nicht funktioniert, empfehle ich, zwischen jeweils zwei Abfragen eine Zeit lang zu schlafen. Dies wirkt sich jedoch auf die Crawling-Geschwindigkeit aus Dies ermöglicht Ihnen kontinuierlichere Crawling-Ergebnisse. Wenn Sie mehrere IPs haben, erhöht sich auch die Crawling-Geschwindigkeit.


Stellungnahme
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Python und Zeit: Machen Sie das Beste aus Ihrer StudienzeitPython und Zeit: Machen Sie das Beste aus Ihrer StudienzeitApr 14, 2025 am 12:02 AM

Um die Effizienz des Lernens von Python in einer begrenzten Zeit zu maximieren, können Sie Pythons DateTime-, Zeit- und Zeitplanmodule verwenden. 1. Das DateTime -Modul wird verwendet, um die Lernzeit aufzuzeichnen und zu planen. 2. Das Zeitmodul hilft, die Studie zu setzen und Zeit zu ruhen. 3. Das Zeitplanmodul arrangiert automatisch wöchentliche Lernaufgaben.

Python: Spiele, GUIs und mehrPython: Spiele, GUIs und mehrApr 13, 2025 am 12:14 AM

Python zeichnet sich in Gaming und GUI -Entwicklung aus. 1) Spielentwicklung verwendet Pygame, die Zeichnungen, Audio- und andere Funktionen bereitstellt, die für die Erstellung von 2D -Spielen geeignet sind. 2) Die GUI -Entwicklung kann Tkinter oder Pyqt auswählen. Tkinter ist einfach und einfach zu bedienen. PYQT hat reichhaltige Funktionen und ist für die berufliche Entwicklung geeignet.

Python vs. C: Anwendungen und Anwendungsfälle verglichenPython vs. C: Anwendungen und Anwendungsfälle verglichenApr 12, 2025 am 12:01 AM

Python eignet sich für Datenwissenschafts-, Webentwicklungs- und Automatisierungsaufgaben, während C für Systemprogrammierung, Spieleentwicklung und eingebettete Systeme geeignet ist. Python ist bekannt für seine Einfachheit und sein starkes Ökosystem, während C für seine hohen Leistung und die zugrunde liegenden Kontrollfunktionen bekannt ist.

Der 2-stündige Python-Plan: ein realistischer AnsatzDer 2-stündige Python-Plan: ein realistischer AnsatzApr 11, 2025 am 12:04 AM

Sie können grundlegende Programmierkonzepte und Fähigkeiten von Python innerhalb von 2 Stunden lernen. 1. Lernen Sie Variablen und Datentypen, 2. Master Control Flow (bedingte Anweisungen und Schleifen), 3.. Verstehen Sie die Definition und Verwendung von Funktionen, 4. Beginnen Sie schnell mit der Python -Programmierung durch einfache Beispiele und Code -Snippets.

Python: Erforschen der primären AnwendungenPython: Erforschen der primären AnwendungenApr 10, 2025 am 09:41 AM

Python wird in den Bereichen Webentwicklung, Datenwissenschaft, maschinelles Lernen, Automatisierung und Skripten häufig verwendet. 1) In der Webentwicklung vereinfachen Django und Flask Frameworks den Entwicklungsprozess. 2) In den Bereichen Datenwissenschaft und maschinelles Lernen bieten Numpy-, Pandas-, Scikit-Learn- und TensorFlow-Bibliotheken eine starke Unterstützung. 3) In Bezug auf Automatisierung und Skript ist Python für Aufgaben wie automatisiertes Test und Systemmanagement geeignet.

Wie viel Python können Sie in 2 Stunden lernen?Wie viel Python können Sie in 2 Stunden lernen?Apr 09, 2025 pm 04:33 PM

Sie können die Grundlagen von Python innerhalb von zwei Stunden lernen. 1. Lernen Sie Variablen und Datentypen, 2. Master -Steuerungsstrukturen wie wenn Aussagen und Schleifen, 3. Verstehen Sie die Definition und Verwendung von Funktionen. Diese werden Ihnen helfen, einfache Python -Programme zu schreiben.

Wie lehre ich innerhalb von 10 Stunden die Grundlagen für Computer-Anfänger-Programmierbasis in Projekt- und problemorientierten Methoden?Wie lehre ich innerhalb von 10 Stunden die Grundlagen für Computer-Anfänger-Programmierbasis in Projekt- und problemorientierten Methoden?Apr 02, 2025 am 07:18 AM

Wie lehre ich innerhalb von 10 Stunden die Grundlagen für Computer -Anfänger für Programmierungen? Wenn Sie nur 10 Stunden Zeit haben, um Computer -Anfänger zu unterrichten, was Sie mit Programmierkenntnissen unterrichten möchten, was würden Sie dann beibringen ...

Wie kann man vom Browser vermeiden, wenn man überall Fiddler für das Lesen des Menschen in der Mitte verwendet?Wie kann man vom Browser vermeiden, wenn man überall Fiddler für das Lesen des Menschen in der Mitte verwendet?Apr 02, 2025 am 07:15 AM

Wie kann man nicht erkannt werden, wenn Sie Fiddlereverywhere für Man-in-the-Middle-Lesungen verwenden, wenn Sie FiddLereverywhere verwenden ...

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
4 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

SublimeText3 Linux neue Version

SublimeText3 Linux neue Version

SublimeText3 Linux neueste Version

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

Leistungsstarke integrierte PHP-Entwicklungsumgebung

SAP NetWeaver Server-Adapter für Eclipse

SAP NetWeaver Server-Adapter für Eclipse

Integrieren Sie Eclipse mit dem SAP NetWeaver-Anwendungsserver.

EditPlus chinesische Crack-Version

EditPlus chinesische Crack-Version

Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion