Cara menggunakan perpustakaan permintaan perangkak web Python

1. Apakah perangkak web

Ringkasnya, ia adalah untuk membina program untuk memuat turun, menghuraikan dan menyusun data daripada Internet secara automatik.

Sama seperti semasa kami menyemak imbas web, kami akan menyalin dan menampal kandungan yang kami minati ke dalam buku nota kami untuk memudahkan pembacaan dan penyemakan imbas pada masa akan datang - perangkak web membantu kami melengkapkan kandungan ini secara automatik

Sudah tentu, jika anda menemui beberapa tapak web yang tidak boleh disalin dan ditampal - perangkak web boleh menunjukkan kuasanya dengan lebih hebat lagi

Mengapa kita memerlukan perangkak web

Apabila kita perlu melakukan beberapa data analisis - dan banyak kali data ini disimpan dalam halaman web, dan muat turun manual mengambil masa terlalu lama Pada masa ini, kami memerlukan perangkak web untuk membantu kami merangkak data ini secara automatik (sudah tentu kami akan menapis data yang tidak tersedia pada. halaman web). Perkara untuk digunakan)

Aplikasi perangkak web

Mengakses dan mengumpul data rangkaian mempunyai julat aplikasi yang sangat luas, yang kebanyakannya tergolong dalam bidang sains data lihat contoh berikut:

Penjual di Taobao perlu mencari maklumat positif dan negatif yang berguna daripada ulasan besar-besaran untuk membantu mereka menawan hati pelanggan dan menganalisis psikologi beli-belah pelanggan seperti Twitter dan Weibo Maklumat untuk membina set data untuk membina model ramalan untuk mengenal pasti kemurungan dan pemikiran bunuh diri - supaya lebih ramai orang yang memerlukan boleh mendapatkan bantuan - sudah tentu kita juga perlu mempertimbangkan isu berkaitan privasi - Tetapi ia adalah baik. bukan?

Sebagai jurutera kecerdasan buatan, mereka merangkak gambar pilihan sukarelawan daripada Ins untuk melatih model pembelajaran mendalam bagi meramalkan sama ada imej yang diberikan akan disukai oleh sukarelawan—&mdash ;Pengilang telefon mudah alih menggabungkan model ini ke dalam apl gambar mereka dan menolaknya kepada anda. Para saintis data platform e-dagang merangkak maklumat tentang produk yang dilayari oleh pengguna, menjalankan analisis dan ramalan, untuk mendorong produk yang paling ingin diketahui dan dibeli oleh pengguna

Ya! Perangkak web digunakan secara meluas, dari kumpulan harian merangkak kertas dinding dan gambar definisi tinggi kepada sumber data untuk kecerdasan buatan, pembelajaran mendalam dan penggubalan strategi perniagaan.

Era ini ialah era data, dan data ialah "minyak baharu"

2. Protokol penghantaran rangkaian HTTP

Ya, apabila ia berkaitan dengan perangkak web, ia mesti tidak dapat dielakkan. Untuk HTTP ini, sudah tentu kita tidak perlu memahami semua aspek definisi protokol secara terperinci seperti jurutera rangkaian, tetapi sebagai pengenalan kita masih perlu mempunyai pemahaman tertentu

Pertubuhan Antarabangsa untuk Standardisasi ISO mengekalkan model rujukan sambungan sistem komunikasi terbuka OSI, dan model ini membahagikan struktur komunikasi komputer kepada tujuh lapisan

1. Lapisan fizikal: termasuk protokol Ethernet, protokol USB, protokol Bluetooth, dsb. .

2. Lapisan pautan data: termasuk protokol Ethernet

3. Lapisan rangkaian: termasuk protokol IP

4. Lapisan pengangkutan: termasuk TCP, protokol UDP

5. Lapisan sesi: Mengandungi protokol untuk membuka/menutup dan mengurus sesi

6. Lapisan pembentangan: Mengandungi protokol untuk melindungi format dan menterjemah data

7. Lapisan aplikasi: Mengandungi protokol perkhidmatan rangkaian HTTP dan DNS

Sekarang mari kita lihat apa permintaan dan tindak balas HTTP kelihatan seperti (kerana mereka akan terlibat kemudian) Tentukan pengepala permintaan) Mesej permintaan umum terdiri daripada kandungan berikut:

• Baris permintaan

• Pengepala permintaan berbilang

• Barisan kosong

• Isi mesej pilihan

Mesej permintaan khusus:

GET https://www.baidu.com/?tn=80035161_1_dg HTTP/1.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-Hans-CN,zh-Hans;q=0.8,en-GB;q=0.5,en;q=0.3
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362
Accept-Encoding: gzip, deflate, br
Host: www.baidu.com
Connection: Keep-Alive

Ini adalah akses Sudah tentu, kami tidak perlu mengetahui banyak butiran dalam permintaan Baidu, kerana pakej permintaan python akan membantu kami menyelesaikan rangkak kami

Sudah tentu kami juga boleh melihat maklumat tersebut dikembalikan oleh halaman web untuk permintaan kami:

HTTP/1.1 200 OK //这边的状态码为200表示我们的请求成功
Bdpagetype: 2
Cache-Control: private
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html;charset=utf-8
Date: Sun, 09 Aug 2020 02:57:00 GMT
Expires: Sun, 09 Aug 2020 02:56:59 GMT
X-Ua-Compatible: IE=Edge,chrome=1
Transfer-Encoding: chunked

3 Permintaan perpustakaan (Pelajar yang tidak suka pengetahuan teori boleh datang ke sini terus)

Kami tahu bahawa Python juga mempunyai perpustakaan pra-bina yang lain. untuk mengendalikan HTTP - urllib dan urllib3, tetapi perpustakaan permintaan lebih mudah dipelajari - kodnya lebih ringkas dan lebih mudah difahami. Sudah tentu, apabila kami berjaya merangkak halaman web dan mengekstrak perkara yang kami minati, kami akan menyebut satu lagi perpustakaan yang sangat berguna - Sup Cantik - ini adalah satu lagi Lagi kemudian

Pemasangan perpustakaan permintaan

Di sini kami boleh mencari terus fail .whl permintaan untuk dipasang, atau kami boleh terus menggunakan pip untuk memasangnya (sudah tentu, jika anda mempunyai pycharm, anda boleh memasangnya terus dari Persekitaran di dalam sedang dimuatkan)

2. Pertempuran sebenar

Sekarang kami mula merangkak halaman web secara rasmi

Kodnya adalah seperti berikut:

import requests
target = 'https://www.baidu.com/'
get_url = requests.get(url=target)
print(get_url.status_code)
print(get_url.text)

Hasil keluaran

200 //返回状态码200表示请求成功
<!DOCTYPE html>//这里删除了很多内容，实际上输出的网页信息比这要多得多
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;
charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge>
<meta content=always name=referrer>
<link rel=stylesheet type=text/css 
src=//www.baidu.com/img/gs.gif> 
</p> </div> </div> </div> </body> </html>

Lima baris kod di atas telah melakukan banyak perkara yang perlu dirangkak. Tiga baris kod: Format umum permintaan menggunakan permintaan adalah seperti berikut:

对象 = requests.get(url=你想要爬取的网站地址)

Baris keempat kod: Mengembalikan kod status permintaan baris kelima: Output badan kandungan yang sepadan

Sudah tentu kita juga boleh mencetak Lebih banyak kandungan

import requests

target = 'https://www.baidu.com/'
get_url = requests.get(url=target)
# print(get_url.status_code)
# print(get_url.text)
print(get_url.reason)//返回状态
print(get_url.headers)
//返回HTTP响应中包含的服务器头的内容（和上面展示的内容差不多）
print(get_url.request)
print(get_url.request.headers)//返回请求中头的内容

rrree

Atas ialah kandungan terperinci Cara menggunakan perpustakaan permintaan perangkak web Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!