Rumah >pembangunan bahagian belakang >Tutorial Python >Bagaimana untuk Menetapkan Ejen Pengguna Tersuai dalam Python urllib2 untuk Mengikis Web?

Bagaimana untuk Menetapkan Ejen Pengguna Tersuai dalam Python urllib2 untuk Mengikis Web?

Patricia Arquette
Patricia Arquetteasal
2024-11-01 08:54:02574semak imbas

How to Set Custom User Agents in Python urllib2 for Web Scraping?

Menetapkan Ejen Pengguna dalam urllib2

Semasa menggunakan urllib2.urlopen untuk mengikis web, ejen pengguna lalai biasanya nama pakej Python. Ini mungkin tidak selalu diingini, kerana tapak web boleh menguatkuasakan sekatan berdasarkan ejen pengguna. Untuk mengubah suai ejen pengguna, seseorang boleh menggunakan pembuka urllib2 tersuai.

Dalam Python 2.x, urllib2.build_opener boleh digunakan untuk mencipta pembuka baharu dengan pengepala tersuai, termasuk ejen pengguna. Coretan kod berikut menunjukkan cara menukar ejen pengguna kepada Mozilla:

opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')

Dalam Python 3, bersamaan dengan urllib2.build_opener ialah urllib.request.build_opener. Struktur kod yang sama boleh digunakan untuk menetapkan ejen pengguna tersuai dalam Python 3 juga.

Atas ialah kandungan terperinci Bagaimana untuk Menetapkan Ejen Pengguna Tersuai dalam Python urllib2 untuk Mengikis Web?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan:
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn