Bagaimana untuk mendapatkan data rangkaian menggunakan perangkak web Python

Dapatkan data rangkaian menggunakan Python

Mendapatkan data daripada Internet menggunakan bahasa Python adalah tugas yang sangat biasa. Python mempunyai perpustakaan yang dipanggil permintaan, yang merupakan perpustakaan klien HTTP untuk Python yang digunakan untuk membuat permintaan HTTP ke pelayan web.

Kami boleh menggunakan perpustakaan permintaan untuk memulakan permintaan HTTP ke URL yang ditentukan melalui kod berikut:

import requests
response = requests.get(&#39;<http://www.example.com>&#39;)

Di mana, objek response akan mengandungi respons yang dikembalikan oleh pelayan. Gunakan response.text untuk mendapatkan kandungan teks jawapan.

Selain itu, kami juga boleh menggunakan kod berikut untuk mendapatkan sumber binari:

import requests
response = requests.get(&#39;<http://www.example.com/image.png>&#39;)
with open(&#39;image.png&#39;, &#39;wb&#39;) as f:
    f.write(response.content)

Gunakan response.content untuk mendapatkan data binari yang dikembalikan oleh pelayan.

Menulis kod perangkak

Merangkak ialah program automatik yang merangkak data halaman web melalui rangkaian dan menyimpannya dalam pangkalan data atau fail. Crawler digunakan secara meluas dalam pengumpulan data, pemantauan maklumat, analisis kandungan dan bidang lain. Bahasa Python ialah bahasa yang biasa digunakan untuk penulisan crawler kerana ia mempunyai kelebihan mudah dipelajari, mempunyai jumlah kod yang kecil dan perpustakaan yang kaya.

Kami mengambil "Filem Douban" sebagai contoh untuk memperkenalkan cara menggunakan Python untuk menulis kod perangkak. Mula-mula, kami menggunakan perpustakaan permintaan untuk mendapatkan kod HTML halaman web, kemudian merawat keseluruhan kod sebagai rentetan panjang dan menggunakan kumpulan tangkapan ungkapan biasa untuk mengekstrak kandungan yang diperlukan daripada rentetan.

Alamat halaman Douban Movie Top250 ialah https://movie.douban.com/top250?start=0, dengan parameter start menunjukkan filem mana untuk mula diambil. Sebanyak 25 filem dipaparkan pada setiap halaman Jika kita ingin mendapatkan data Top250, kita perlu melawati sebanyak 10 halaman Alamat yang sepadan ialah https://movie.douban.com/top250?start=xxx di sini xxx halaman pertama. Jika 0 Nilainya ialah xxx, maka kita boleh mengakses halaman kelima. 100

Kami mengambil tajuk dan rating filem sebagai contoh Kodnya adalah seperti berikut:

import re
import requests
import time
import random
for page in range(1, 11):
    resp = requests.get(
        url=f&#39;<https://movie.douban.com/top250?start=>{(page - 1) * 25}&#39;,
        headers={&#39;User-Agent&#39;: &#39;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36&#39;}
    )
    # 通过正则表达式获取class属性为title且标签体不以&开头的span标签并用捕获组提取标签内容
    pattern1 = re.compile(r&#39;<span class="title">([^&]*?)</span>&#39;)
    titles = pattern1.findall(resp.text)
    # 通过正则表达式获取class属性为rating_num的span标签并用捕获组提取标签内容
    pattern2 = re.compile(r&#39;<span class="rating_num".*?>(.*?)</span>&#39;)
    ranks = pattern2.findall(resp.text)
    # 使用zip压缩两个列表，循环遍历所有的电影标题和评分
    for title, rank in zip(titles, ranks):
        print(title, rank)
    # 随机休眠1-5秒，避免爬取页面过于频繁
    time.sleep(random.random() * 4 + 1)

Dalam kod di atas, kami menggunakan ungkapan biasa untuk mendapatkan teg span yang badan tagnya. ialah tajuk dan penilaian Dan gunakan kumpulan penangkapan untuk mengekstrak kandungan teg. Gunakan

untuk memampatkan kedua-dua senarai dan gelung melalui semua tajuk dan rating filem. zip

Gunakan proksi IP

Banyak tapak web meluat dengan perangkak kerana perangkak menggunakan banyak lebar jalur rangkaian mereka dan mencipta banyak trafik tidak sah. Untuk menyembunyikan identiti anda, anda biasanya perlu menggunakan proksi IP untuk mengakses tapak web. Proksi IP komersial (seperti Mushroom Proxy, Sesame Proxy, Fast Proxy, dll.) ialah pilihan yang baik Menggunakan proksi IP komersial boleh menghalang tapak web yang dirangkak daripada mendapatkan alamat IP sebenar sumber program perangkak, menjadikannya mustahil untuk. hanya gunakan alamat IP Program crawler disekat.

Mengambil Ejen Cendawan sebagai contoh, kita boleh mendaftar akaun di laman web dan kemudian membeli pakej yang sepadan untuk mendapatkan ejen IP komersial. Proksi cendawan menyediakan dua cara untuk mengakses proksi, iaitu proksi peribadi API dan proksi terowong HTTP yang pertama mendapatkan alamat pelayan proksi dengan meminta antara muka API proksi Cendawan, dan proksi kedua secara langsung menggunakan IP dan port pelayan proksi bersatu.

Kod untuk menggunakan proksi IP adalah seperti berikut:

import requests
proxies = {
    &#39;http&#39;: &#39;<http://username:password@ip>:port&#39;,
    &#39;https&#39;: &#39;<https://username:password@ip>:port&#39;
}
response = requests.get(&#39;<http://www.example.com>&#39;, proxies=proxies)

di mana,

dan username ialah nama pengguna dan kata laluan akaun proksi cendawan masing-masing, dan password dan ip masing-masing adalah Alamat IP dan nombor port pelayan proksi. Ambil perhatian bahawa pembekal proksi yang berbeza mungkin mempunyai kaedah akses yang berbeza dan perlu diubah suai dengan sewajarnya mengikut situasi sebenar. port

Atas ialah kandungan terperinci Bagaimana untuk mendapatkan data rangkaian menggunakan perangkak web Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!