淺談Python爬取網頁的編碼處理

背景

中秋的時候，朋友給我發了一封郵件，說他在爬鍊家的時候，發現網頁回傳的程式碼都是亂碼，讓我幫他參謀參謀(中秋加班，真是敬業= =！)，其實這個問題我很早就遇到過，之前在爬小說的時候稍微看了一下，不過沒當回事，其實這個問題就是對編碼的理解不到位導致的。

問題

很普通的一個爬蟲程式碼，程式碼是這樣的：

##

# ecoding=utf-8
import re
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'
res = requests.get(url)
print res.text

目的其實很簡單，就是爬一下鍊家的內容，但是這樣執行之後，返回的結果，所有涉及到中文的內容，全部會變成亂碼，比如這樣

<script type="text/template" id="newAddHouseTpl">
 <p class="newAddHouse">
  自从您上次浏览（<%=time%>ï¼‰ä¹‹åŽï¼Œè¯¥æœç´¢æ¡ä»¶ä¸‹æ–°å¢žåŠ äº†<%=count%>套房源
  <a href="<%=url%>" class="LOGNEWERSHOUFANGSHOW" <%=logText%>><%=linkText%></a>
  <span class="newHouseRightClose">x</span>
 </p>
</script>

這樣的資料拿來可以說毫無作用。

問題分析

這裡的問題很明顯了，就是文字的編碼不正確，導致了亂碼。

查看網頁的編碼

從爬取的目標網頁的頭來看，網頁是用utf-8來編碼的。

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

所以，最終的編碼，我們肯定也要用utf-8來處理，也就是說，最終的文字處理，要用utf-8來解碼，也就是：decode('utf-8')

文字的編碼解碼##Python的編碼解碼的過程是這樣的，原始檔===” encode(編碼方式) ===》decode(解碼方式)，在很大的程度上，不建議使用

import sys
reload(sys)
sys.setdefaultencoding('utf8')

這種方式來硬處理文字編碼。不過在某些時候不影響的情況下，偷偷懶也不是什麼大問題，不過比較建議的就是取得原始檔案之後，使用encode和decode的方式來處理文字。

回到問題現在問題最大的是原始檔的編碼方式，我們正常使用requests的時候，它會自動猜源檔案的編碼方式，然後轉碼成Unicode的編碼，但是，畢竟是程序，是有可能猜錯的，所以如果猜錯了，我們就需要手工來指定編碼方式。官方文件的描述如下：

When you make a request, Requests makes educated guesses about the encoding of the response based on the HTTP headers. The text encoding guessed by Requests is used when you access. when. can find out what encoding Requests is using, and change it, using the r.encoding property.

所以我們需要查看requests回傳的編碼方式到底是什麼？

# ecoding=utf-8
import re
import requests
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
print res.encoding

列印的結果如下：

ISO-8859-1

也就是說，原始檔使用的是ISO-8859-1來編碼。百度一下ISO-8859-1，結果如下：

ISO8859-1，通常叫做Latin-1。 Latin-1包括了書寫所有西方歐洲語言中不可缺少的附加字元。

問題解決

發現了這個東東，問題就很好解決了，只要指定一下編碼，就能正確的打出中文了。程式碼如下：

# ecoding=utf-8
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
res.encoding = ('utf8')

print res.text

列印的結果就很明顯，中文都正確的顯示出來了。

另一種方式是在原始檔上做解碼和編碼，程式碼如下：

# ecoding=utf-8
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
# res.encoding = ('utf8')

print res.text.encode('ISO-8859-1').decode('utf-8')

另：ISO-8859-1也叫latin1，使用latin1做解碼結果也是正常的。

關於字元的編碼，很多東西可以說，想了解的朋友可以參考以下大神的資料。

•《The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)》

#以上這篇淺談Python爬取網頁的編碼處理就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持PHP中文網。

更多淺談Python爬取網頁的編碼處理相關文章請關注PHP中文網！