Bagaimana untuk menyelesaikan kod golang crawler bercelaru

Dengan perkembangan teknologi Internet yang berterusan, crawler telah menjadi teknologi yang sangat penting. Dalam teknologi perangkak, perpustakaan perangkak bahasa Go menjadi semakin popular di kalangan pembangun.

Walau bagaimanapun, apabila menggunakan golang untuk merangkak, kita mungkin menghadapi watak bercelaru. Jadi bagaimana untuk menyelesaikannya?

Pertama sekali, perlu jelas bahawa kejadian aksara bercelaru adalah disebabkan oleh masalah pengekodan. Oleh itu, sebelum menangani masalah kod bercelaru, kita perlu memahami pengetahuan pengekodan yang berkaitan.

Di golang, kami biasanya menggunakan pengekodan utf-8 untuk penghantaran dan penyimpanan data. Semasa proses perangkak, data yang kami peroleh mungkin mengandungi data dalam format pengekodan lain, seperti gbk, gb2312, dsb.

Jadi, jika kami tidak melakukan penukaran pengekodan dengan betul semasa memproses data, aksara bercelaru akan muncul.

Jadi, bagaimana untuk melakukan penukaran pengekodan yang betul?

Bahasa Go menyediakan pakej rentetan dan pakej strconv, yang digunakan untuk memproses penukaran rentetan dan data jenis berangka masing-masing. Dalam perangkak, kita boleh menggunakan kedua-dua pakej ini untuk penukaran pengekodan.

Secara khusus, selepas kami memperoleh data, kami perlu terlebih dahulu menentukan format pengekodannya. Anda boleh menggunakan pakej go-iconv untuk membantu kami menentukan format pengekodan teks.

Dengan mengandaikan bahawa format pengekodan data yang diperoleh ialah gbk, kita boleh mengikuti langkah berikut untuk melakukan penukaran pengekodan:

1. Tukar data yang diperolehi kepada jenis []bait.

   data := []byte(获取到的数据)

2. Gunakan perpustakaan luaran go-iconv untuk mengenal pasti format pengekodan.

   import "github.com/djimenez/iconv-go"
   
   utf8Data, err := iconv.ConvertString(string(data), "gbk", "utf-8")
   if err == nil {
   
    // 处理 utf8Data 数据
   
   }

Dalam kod di atas, kami mengimport pakej go-iconv melalui import, dan kemudian menggunakan kaedah ConvertString untuk menukar pengekodan gbk kepada pengekodan utf-8.

Akhir sekali, kami perlu ambil perhatian bahawa semasa merangkak halaman web, format pengekodan sesetengah tapak web mungkin berubah secara dinamik dan kami perlu menentukan format pengekodan secara dinamik. Anda boleh menggunakan ungkapan biasa untuk memadankan kandungan halaman dan menentukan format pengekodan secara dinamik. Berikut ialah sekeping kod untuk pengekodan pertimbangan dinamik.

import (
    "golang.org/x/net/html/charset"
    "golang.org/x/text/encoding"
    "golang.org/x/text/transform"
)

// 获取网页编码
func getCharset(reader io.Reader) (e encoding.Encoding, name string, certain bool, err error) {
    result, err := bufio.NewReader(reader).Peek(1024)
    if err != nil {
        return
    }
    e, name, certain = charset.DetermineEncoding(result, "")
    return
}

// 编码转换
func convertEncoding(encodedReader io.Reader, e encoding.Encoding) io.Reader {
    if e != nil && e != encoding.Nop {
        encodedReader = transform.NewReader(encodedReader, e.NewDecoder())
    }
    return encodedReader
}

// 获取网页内容并进行编码转换
func getHtmlContent(url string) (string, error) {
    resp, err := http.Get(url)
    if err != nil {
        return "", err
    }
    defer resp.Body.Close()

    reader := bufio.NewReader(resp.Body)

    e, _, _, err := getCharset(reader)
    if err != nil {
        return "", err
    }

    utf8Reader := convertEncoding(reader, e)
    htmlContent, err := ioutil.ReadAll(utf8Reader)
    if err != nil {
        return "", err
    }

    return string(htmlContent), nil
}

Dalam kod di atas, kami mula-mula menentukan format pengekodan halaman web melalui kaedah DetermineEncoding, kemudian menukar kandungan halaman web ke pengekodan utf-8 melalui kaedah NewDecoder, dan mengembalikan kandungan yang ditukar .

Menggunakan kaedah di atas, kita boleh menyelesaikan masalah watak bercelaru dalam perangkak.

Ringkasnya, golang menghadapi masalah kod bercelaru semasa menulis perangkak Secara umumnya, ia disebabkan oleh masalah pengekodan. Penyelesaian termasuk menggunakan pakej iconv untuk penukaran pengekodan atau menggunakan perpustakaan seperti go-x/net/html/charset dan golang.org/x/text/encoding untuk menentukan format pengekodan dan menukar pengekodan secara dinamik. Selagi kita mahir dalam kaedah ini, kita boleh merangkak dengan gembira di golang.

Atas ialah kandungan terperinci Bagaimana untuk menyelesaikan kod golang crawler bercelaru. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!