Pertempuran crawler praktikal dalam Python: Baidu tahu perangkak

Python, sebagai bahasa pengaturcaraan yang berkuasa, boleh membantu kami mendapatkan sejumlah besar data di Internet dengan lebih mudah. Antaranya, teknologi crawler adalah bahagian yang sangat mewakili. Perayap boleh mendapatkan dan menganalisis pelbagai data di Internet, memberikan kami sejumlah besar maklumat berharga. Dalam Python, teknologi crawler juga boleh digunakan secara meluas. Baidu Zhizhi ialah tapak web yang menyediakan sejumlah besar soalan dan jawapan pengetahuan Artikel ini memperkenalkan kaedah melaksanakan perangkak Baidu Zhizhi dalam Python.

1. Mula merangkak

Pertama, kita perlu memahami cara merangkak tapak web Baidu. Dalam Python, anda boleh menggunakan perpustakaan permintaan atau fungsi urlopen dalam perpustakaan urllib untuk mendapatkan kod sumber tapak web. Selepas mendapatkan kod sumber, kami boleh menggunakan perpustakaan BeautifulSoup untuk menghuraikan dokumen halaman web untuk menapis maklumat yang diperlukan dengan mudah. Di sini, perkara yang perlu kita rangkai ialah setiap soalan dan jawapan terbaik yang sepadan. Dengan melihat kod sumber yang Baidu ketahui, kami dapati bahawa setiap jawapan terbaik mempunyai ID kelas bebasnya sendiri, dan kami boleh memilih kandungan yang sepadan berdasarkan ini.

Berikut ialah proses pelaksanaan kod:

import requests
from bs4 import BeautifulSoup

# 网页地址
url = "https://zhidao.baidu.com/question/2031956566959407839.html"

# 发送请求
r = requests.get(url)

# 解析网页
soup = BeautifulSoup(r.text, "html.parser")

# 获取问题
question = soup.find("span", class_="ask-title").text
print("问题： ", question)

# 获取最佳答案
answer = soup.find("pre", class_="best-text mb-10").text
print("最佳答案： ", answer)

2. Merangkak berbilang soalan dan jawapan

Seterusnya, kita perlu merangkak berbilang soalan dan jawapan jawapannya. Kita boleh membuat senarai soalan, merangkak keluar setiap soalan dan menjawab melalui gelung untuk, dan kemudian mencetaknya. Memandangkan akhiran setiap URL soalan di Baidu adalah berbeza, kami perlu menjana alamat halaman web secara automatik yang perlu dirangkak melalui pemformatan rentetan.

Berikut ialah kod pelaksanaan:

import requests
from bs4 import BeautifulSoup

# 创建问题列表
questions = [
    "2031956566959407839", 
    "785436012916117832", 
    "1265757662946113922", 
    "455270192556513192", 
    "842556478655981450"
]

# 循环爬取问题和最佳答案
for q in questions:
    # 根据问题ID拼接URL
    url = f"https://zhidao.baidu.com/question/{q}.html"

    # 发送请求
    r = requests.get(url)

    # 解析网页
    soup = BeautifulSoup(r.text, "html.parser")

    # 获取问题
    try:
        question = soup.find("span", class_="ask-title").text
    except:
        question = ""

    # 获取最佳答案
    try:
        answer = soup.find("pre", class_="best-text mb-10").text
    except:
        answer = ""

    # 打印问题和答案
    print("问题： ", question)
    print("最佳答案： ", answer)
    print("----------------------")

3. Simpan hasil rangkak ke fail

Akhir sekali, kami menyimpan hasil rangkak ke fail. Anda boleh menggunakan csv modul terbina dalam Python untuk menyimpan setiap soalan dan jawapan kepada fail csv. Di samping itu, untuk mengelakkan masalah aksara Cina yang kacau, kita boleh menambah BOM (Byte Order Mark) pada pengepala fail csv.

Berikut ialah kod pelaksanaan:

import requests
from bs4 import BeautifulSoup
import csv
import codecs

# 创建问题列表
questions = [
    "2031956566959407839", 
    "785436012916117832", 
    "1265757662946113922", 
    "455270192556513192", 
    "842556478655981450"
]

# 创建文件
with open("questions.csv", "w", newline='', encoding='utf-8-sig') as file:
    writer = csv.writer(file)
    writer.writerow(['问题', '最佳答案'])

    # 循环爬取问题和最佳答案
    for q in questions:
        # 根据问题ID拼接URL
        url = f"https://zhidao.baidu.com/question/{q}.html"

        # 发送请求
        r = requests.get(url)

        # 解析网页
        soup = BeautifulSoup(r.text, "html.parser")

        # 获取问题
        try:
            question = soup.find("span", class_="ask-title").text
        except:
            question = ""

        # 获取最佳答案
        try:
            answer = soup.find("pre", class_="best-text mb-10").text
        except:
            answer = ""

        # 保存到csv文件
        writer.writerow([question, answer])

4. Ringkasan

Dalam artikel ini, kami memperkenalkan cara menggunakan Python untuk merangkak tapak web Baidu. Kami mempelajari cara menggunakan permintaan dan perpustakaan urllib untuk menghantar permintaan, menggunakan perpustakaan BeautifulSoup untuk menghuraikan halaman web dan cara menyimpan hasil yang dirangkak ke fail csv. Melalui kaedah ini, kita boleh mendapatkan data di Internet dan menganalisisnya dengan mudah. Teknologi crawler memainkan peranan yang sangat penting dalam analisis data besar dalam era Internet Sebagai pengaturcara Python, adalah penting untuk mempelajari dan menguasai pengetahuan yang berkaitan.

Atas ialah kandungan terperinci Pertempuran crawler praktikal dalam Python: Baidu tahu perangkak. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!