Apakah sebab mengapa crawler golang bercelaru? Bagaimana untuk menyelesaikannya?

Dalam proses menggunakan golang untuk merangkak halaman web, ramai pembangun akan menghadapi salah satu masalah yang sangat menyusahkan - watak kacau. Oleh kerana kandungan di Internet dikodkan dan sesetengah tapak web dikodkan dengan cara yang istimewa, ini boleh menyebabkan aksara bercelaru apabila kami merangkak data.

Artikel ini akan memperkenalkan secara terperinci masalah kod bercelaru yang sering berlaku dalam perangkak golang dan penyelesaiannya dari aspek berikut:

1. Punca kod bercelaru
2. Dapatkan tindak balas Kaedah pemprosesan data
3. Kaedah penukaran format pengekodan
4. Pengesanan pengekodan dan penukaran automatik
5. Punca aksara bercelaru

Pengekodan yang dipanggil merujuk kepada Ia adalah cara komputer memproses aksara semasa penyimpanan, penghantaran, paparan, dsb. Semasa proses merangkak, data respons yang kami terima akan dikodkan oleh pelayan dan kemudian dihantar kepada kami, yang bermaksud kami mungkin mendapat data yang sangat tidak kemas Ini adalah sebab kod bercelaru.

Di Web, terdapat banyak cara untuk mengekod aksara. Contohnya, GBK, UTF-8, ISO-8859-1, GB2312, Big5, dsb. Kaedah pengekodan ini mempunyai set aksara, julat set aksara, kaedah perwakilan dan ciri lain yang berbeza. Jika perangkak web kami tidak menangani masalah pengekodan dengan baik, ia akan mencetuskan satu siri masalah kod bercelaru.

2. Cara mendapatkan data respons

Dalam perangkak golang, kami biasanya menggunakan kaedah http.Get() apabila mendapatkan data respons. Data yang diperoleh dihantar melalui sifat Response.Body. Oleh itu, langkah pertama dalam menyelesaikan masalah bercelaru adalah dengan mengendalikan data asal dengan betul dalam harta Response.Body.

Pertama, kita perlu menggunakan kaedah ReadAll() dalam pakej ioutil untuk mendapatkan data tindak balas dan menyahkodnya dengan sewajarnya. Contohnya:

resp, err := http.Get(url)
if err != nil {
   // 处理错误
}
defer resp.Body.Close()
bodyBytes, err := ioutil.ReadAll(resp.Body)
if err != nil {
   // 处理错误
}
bodyString := string(bodyBytes)

Dalam kod di atas, kami menggunakan kaedah ReadAll() dalam pakej ioutil untuk membaca data dalam Response.Body ke dalam tatasusunan bait, dan kemudian menggunakan rentetan terbina dalam Go( ) kaedah untuk menyahkodnya dan mendapatkan rentetan yang betul.

3. Kaedah penukaran format pengekodan

Dalam langkah sebelumnya, kami telah menyahkod data asal yang diperoleh daripada Response.Body. Jika kita mendapati bahawa rentetan yang terhasil adalah bercelaru, maka kita perlu memprosesnya dengan lebih lanjut.

Biasanya, API berkaitan Unicode/UTF-8 boleh digunakan untuk menukar rentetan kepada format pengekodan sasaran. Pakej rentetan terbina dalam Go menyediakan kaedah untuk menukar Unicode/UTF-8 kepada format pengekodan lain.

Sebagai contoh, kita boleh menggunakan kaedah ToUpper() dalam pakej rentetan untuk menukar rentetan daripada format pengekodan asal (seperti GBK) kepada format pengekodan sasaran (seperti UTF-8). Begitu juga, pakej rentetan juga menyediakan kaedah untuk menukar rentetan daripada format pengekodan sasaran kepada Unicode/UTF-8.

Sebagai contoh, untuk menukar rentetan daripada format GBK kepada format UTF-8, anda boleh menggunakan kod berikut:

gbkString := "你好，世界"
decoder := simplifiedchinese.GBK.NewDecoder()
utf8String, err := decoder.String(gbkString)
if err != nil {
   // 处理错误
}

Perlu diambil perhatian bahawa dalam kod di atas, kami menggunakan Pergi Kaedah GBK.NewDecoder() dalam pustaka Cina ringkas terbina dalam menukar rentetan format GBK kepada rentetan format Unicode/UTF-8. Jika anda perlu menggantikannya dengan format pengekodan lain, cuma tukar parameter kaedah NewDecoder().

4. Pengesanan pengekodan dan penukaran automatik

Selalunya, kami tidak pasti apakah format pengekodan tapak web sasaran. Pada masa ini, kami mula-mula boleh mengesan sama ada pengepala respons tapak web sasaran mengandungi maklumat format pengekodan Jika ya, gunakan format pengekodan dalam pengepala respons untuk penyahkodan dan bukannya menggunakan format pengekodan UTF-8 lalai. Dengan cara ini, kita boleh mengelakkan aksara bercelaru yang disebabkan oleh masalah pengekodan.

Selain itu, kami juga boleh menggunakan perpustakaan pihak ketiga untuk mengesan dan menukar format pengekodan secara automatik. Sebagai contoh, GoDoc mengesyorkan pakej go-charset untuk masalah pengekodan dalam perangkak golang Pustaka ini boleh melaksanakan penukaran format pengekodan berdasarkan pengesanan automatik. Kami boleh terus menghantar sifat Response.Body kepada pakej go-charset dan biarkan ia secara automatik mengesan format pengekodan dan menukar dengan sewajarnya.

Sebagai contoh, untuk menggunakan pakej go-charset untuk menukar format pengekodan, anda boleh menggunakan kod berikut:

import "github.com/djimenez/iconv-go"

// 默认使用 GBK 编码格式
resp, err := http.Get(url)
if err != nil {
   // 处理错误
}
defer resp.Body.Close()

// 自动检测编码格式并转换
bodyReader, err := iconv.NewReader(resp.Body, iconv.DetectEncoding(resp.Body), "utf-8")
if err != nil {
   // 处理错误
}
bodyBytes, err := ioutil.ReadAll(bodyReader)
if err != nil {
   // 处理错误
}
bodyString := string(bodyBytes)

Dalam kod di atas, kami menggunakan kaedah NewReader() dalam pakej go-charset ke Data respons dinyahkod dan ditukar kepada format yang dikodkan UTF-8. Perlu diingatkan bahawa kami menggunakan kaedah DetectEncoding() untuk mengesan format pengekodan secara automatik, yang boleh berfungsi dengan baik dalam tapak web berbilang pengekodan.

Ringkasan

Bila-bila masa, masalah pengekodan adalah salah satu pening kepala di golang crawler. Walau bagaimanapun, melalui kaedah yang diperkenalkan di atas, kita boleh mengelakkan masalah seperti aksara bercelaru semasa merangkak data. Mengendalikan isu pengekodan dengan betul boleh menjadikan perangkak web golang kami lebih stabil dan boleh dipercayai dalam aplikasi praktikal.

Atas ialah kandungan terperinci Apakah sebab mengapa crawler golang bercelaru? Bagaimana untuk menyelesaikannya?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!