python 採集中文亂碼問題的方法

最近幾日遇到採集某網頁的時候大部分網頁OK,少部分網頁出現亂碼的問題,調試了幾日,終於發現了是含有一些非法字符造成的..特此記錄

#1. 在正常情況下..可以用

import chardet

thischarset = chardet.detect(strs)["encoding"]

來取得該檔案或頁面的編碼方式

或直接抓取頁面的charset = xxxx 來取得

2. 遇到內容中有特殊字元時指定的編碼一樣會造成亂碼..即內容中非法字元造成的,可以採用編碼忽略非法字元的方式來處理.

strs = strs.decode("UTF-8","ignore").encode("UTF-8")

decode的第二個參數表示遇到非法字元時所採取的方式

此參數預設為拋出異常.

以上就是小編為大家帶來的python 採集中文亂碼問題的完美解決方法的全部內容了，希望對大家有所幫助，多多支持PHP中文網

更多python 採集中文亂碼問題的方法相關文章請關注PHP中文網！