Wie lege ich benutzerdefinierte Benutzeragenten in Python urllib2 für Web Scraping fest?

Einstellen von Benutzeragenten in urllib2

Bei der Verwendung von urllib2.urlopen für das Web-Scraping ist es normalerweise der Standard-Benutzeragent der Python-Paketname. Dies ist möglicherweise nicht immer wünschenswert, da Websites Einschränkungen basierend auf dem Benutzeragenten durchsetzen können. Um den Benutzeragenten zu ändern, kann man einen benutzerdefinierten urllib2-Öffner verwenden.

In Python 2.x kann urllib2.build_opener verwendet werden, um einen neuen Öffner mit zu erstellen benutzerdefinierte Header, einschließlich des Benutzeragenten. Der folgende Codeausschnitt zeigt, wie der Benutzeragent auf Mozilla geändert wird:

opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')

In Python 3 ist das Äquivalent zu urllib2.build_opener urllib.request.build_opener. Die gleiche Codestruktur kann auch zum Festlegen benutzerdefinierter Benutzeragenten in Python 3 verwendet werden.

Das obige ist der detaillierte Inhalt vonWie lege ich benutzerdefinierte Benutzeragenten in Python urllib2 für Web Scraping fest?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!