Maison  >  Article  >  développement back-end  >  Comment définir des agents utilisateurs personnalisés dans Python urllib2 pour le Web Scraping ?

Comment définir des agents utilisateurs personnalisés dans Python urllib2 pour le Web Scraping ?

Patricia Arquette
Patricia Arquetteoriginal
2024-11-01 08:54:02430parcourir

How to Set Custom User Agents in Python urllib2 for Web Scraping?

Définition des agents utilisateurs dans urllib2

Lors de l'utilisation de urllib2.urlopen pour le web scraping, l'agent utilisateur par défaut est généralement le nom du package Python. Cela n’est pas toujours souhaitable, car les sites Web peuvent imposer des restrictions basées sur l’agent utilisateur. Pour modifier l'agent utilisateur, on peut utiliser un ouvreur urllib2 personnalisé.

Dans Python 2.x, urllib2.build_opener peut être utilisé pour créer un nouvel ouvreur avec en-têtes personnalisés, y compris l'agent utilisateur. L'extrait de code suivant montre comment changer l'agent utilisateur en Mozilla :

opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')

Dans Python 3, l'équivalent de urllib2.build_opener est urllib.request.build_opener. La même structure de code peut également être utilisée pour définir des agents utilisateurs personnalisés dans Python 3.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration:
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn