Ajar anda langkah demi langkah cara menggunakan perangkak web Python untuk mendapatkan maklumat dana

.

2. Pemerolehan Data

Di sini laman web sasaran kami ialah laman web rasmi sesebuah dana, dan data yang perlu ditangkap adalah seperti rajah di bawah.

Anda boleh melihat bahawa lajur kod dana dalam gambar di atas mempunyai nombor yang berbeza Klik pada satu secara rawak untuk memasuki halaman butiran dana, dengan kod dana sebagai simbol.

Sebenarnya, laman web ini tidak sukar Tiada data atau apa-apa yang disulitkan Maklumat di halaman web boleh dilihat secara langsung dalam kod sumber.

Ini mengurangkan kesukaran merangkak. Melalui kaedah tangkapan paket penyemak imbas, anda boleh melihat parameter permintaan khusus dan anda boleh melihat bahawa hanya

berubah dalam parameter permintaan, dan nilai ini berlaku sepadan dengan halaman, jadi anda boleh membina parameter permintaan secara langsung.

Proses pelaksanaan kod

Selepas mencari sumber data, langkah seterusnya adalah untuk melaksanakan kod tersebut.

Dapatkan data id stok

response = requests.get(url, headers=headers, params=params, verify=False)
    pattern = re.compile(r&#39;.*?"(?P<items>.*?)".*?&#39;, re.S)
    result = re.finditer(pattern, response.text)
    ids = []
    for item in result:
        # print(item.group(&#39;items&#39;))
        gp_id = item.group(&#39;items&#39;).split(&#39;,&#39;)[0]

Hasilnya adalah seperti rajah di bawah:

Kemudian bina pautan halaman butiran untuk mendapatkan maklumat dana pada halaman butiran adalah seperti berikut :

response = requests.get(url, headers=headers)
response.encoding = response.apparent_encoding
selectors = etree.HTML(response.text)
danweijingzhi1 = selectors.xpath('//dl[@class="dataItem02"]/dd[1]/span[1]/text()')[0]
danweijingzhi2 = selectors.xpath('//dl[@class="dataItem02"]/dd[1]/span[2]/text()')[0]
leijijingzhi = selectors.xpath('//dl[@class="dataItem03"]/dd[1]/span/text()')[0]
lst = selectors.xpath('//div[@class="infoOfFund"]/table//text()')

Hasilnya adalah seperti yang ditunjukkan dalam rajah di bawah:

Proses maklumat khusus ke dalam rentetan yang sepadan, dan kemudian simpan ke fail csv Hasilnya adalah seperti yang ditunjukkan dalam rajah di bawah:

Dengan ini, anda boleh melakukan statistik dan analisis data selanjutnya.

3. Ringkasan

Salam semua, saya seorang yang mahir Python. Artikel ini terutamanya berkongsi penggunaan perangkak web Python untuk mendapatkan maklumat data dana Projek ini tidak terlalu sukar, tetapi terdapat beberapa masalah. Semua orang dialu-alukan untuk mencubanya Saya akan membantu menyelesaikannya.

Artikel ini terutamanya menangkap klasifikasi [jenis saham] Saya tidak melakukannya untuk jenis lain Anda dialu-alukan untuk mencubanya, logiknya adalah sama, hanya menukar parameter.

Atas ialah kandungan terperinci Ajar anda langkah demi langkah cara menggunakan perangkak web Python untuk mendapatkan maklumat dana. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!