在 urllib2 中设置用户代理
使用 urllib2.urlopen 进行网页抓取时,默认用户代理通常是Python 包名称。这可能并不总是理想的,因为网站可以根据用户代理强制实施限制。要修改用户代理,可以使用自定义 urllib2 opener。
在 Python 2.x 中,urllib2.build_opener 可用于创建一个新的 opener自定义标头,包括用户代理。以下代码片段演示了如何将用户代理更改为 Mozilla:
opener = urllib2.build_opener() opener.addheaders = [('User-Agent', 'Mozilla/5.0')] response = opener.open('http://www.stackoverflow.com')
在 Python 3 中,相当于 urllib2.build_opener 是 urllib.request.build_opener。相同的代码结构也可用于在 Python 3 中设置自定义用户代理。
以上是如何在 Python urllib2 中设置自定义用户代理以进行网页抓取?的详细内容。更多信息请关注PHP中文网其他相关文章!