Lösung für das Problem mit verstümmeltem Code im Python-Webcrawler

Dieser Artikel stellt hauptsächlich die Lösung des Problems verstümmelter Zeichen in Python-Webcrawlern vor. Er hat einen gewissen Referenzwert.

Es gibt viele Möglichkeiten, das Problem verstümmelter Zeichen zu lösen Verschiedene Probleme im Crawler. Hier gibt es nicht nur verstümmelte chinesische Zeichen, Codierungskonvertierung, sondern auch einige verstümmelte Zeichen wie Japanisch, Koreanisch, Russisch, Tibetisch usw., da die Lösungen dieselben sind und daher hier erläutert werden.

Der Grund, warum der Webcrawler verstümmelten Code anzeigt

Das Codierungsformat der Quellwebseite stimmt nicht mit dem Codierungsformat nach dem Crawlen überein.
Wenn es sich bei der Quellwebseite um einen von GBK codierten Bytestream handelt und das Programm ihn direkt mit utf-8 codiert und in die Speicherdatei ausgibt, führt dies unweigerlich zu verstümmeltem Code, wenn die Quellwebseite angezeigt wird Wenn das Programm die Verarbeitungscodierung direkt verwendet, um konsistent zu sein, gibt es zu diesem Zeitpunkt keine verstümmelten Zeichen. Wenn die Zeichencodierung vereinheitlicht ist, sind keine verstümmelten Zeichen vorhanden

Achten Sie auf die Unterscheidung

• Quellnetzwerkcode A,

• Code B, der direkt vom Programm verwendet wird,

• Code C für eine einheitliche Konvertierung von Zeichen.
  

Lösung für verstümmelte Zeichen

Bestimmen Sie den Code A der Quellwebseite. Code A befindet sich häufig an drei Stellen auf der Webseite.

1.Inhaltstyp des HTTP-Headers
Die Site, die den Server-Header erhält, kann ihn verwenden, um dem Browser einige Informationen über den Seiteninhalt mitzuteilen. Der Content-Type-Eintrag wird als „text/html; charset=utf-8“ geschrieben.

2.meta charset

3. Dokumentdefinition im Webseiten-Header

<script> 
if(document.charset){ 
 alert(document.charset+"!!!!"); 
 document.charset = &#39;GBK&#39;; 
 alert(document.charset); 
} 
else if(document.characterSet){ 
 alert(document.characterSet+"????"); 
 document.characterSet = &#39;GBK&#39;; 
 alert(document.characterSet); 
}</script>

Beim Abrufen der Quell-Webseitenkodierung, Beurteilen Sie es der Reihe nach. Diese drei Teile der Daten sind ausreichend, von vorne nach hinten, und das gilt auch für die Prioritäten.
In den oben genannten drei Fällen gibt es keine Codierungsinformationen. Im Allgemeinen werden hierfür intelligente Identifizierungstools für die Webseitencodierung wie Chardet verwendet.

Installation: pip install chardet

Python-Chardet-Zeichenkodierungsbeurteilung

Die Verwendung von Chardet kann die Kodierungserkennung von Zeichenfolgen/Dateien leicht realisieren. Obwohl HTML-Seiten Zeichensatz-Tags haben, sind diese manchmal falsch. Dann kann Chardet uns sehr helfen.
Chardet-Instanz

import urllib 
rawdata = urllib.urlopen('http://www.php.cn/').read() 
import chardet 
chardet.detect(rawdata) 
{'confidence': 0.99, 'encoding': 'GB2312'}

Chardet kann die Erkennungsfunktion direkt verwenden, um die Codierung des angegebenen Zeichens zu erkennen. Der Rückgabewert der Funktion ist ein Wörterbuch mit zwei Elementen, eines ist die Erkennungsglaubwürdigkeit und das andere ist die erkannte Codierung.

Wie geht man bei der Entwicklung eines eigenen Crawlers mit der Codierung chinesischer Zeichen um?
Das Folgende gilt für Python2.7. Wenn es nicht verarbeitet wird, werden die gesammelten Daten verstümmelt ist Verarbeiten Sie HTML in eine einheitliche UTF-8-Codierung und stoßen Sie auf die Windows-1252-Codierung, die zum noch nicht abgeschlossenen Chardet-Codierungserkennungstraining gehört

import chardet 
a='abc' 
type(a) 
str 
chardet.detect(a) 
{'confidence': 1.0, 'encoding': 'ascii'} 
 
 
a ="我" 
chardet.detect(a) 
{'confidence': 0.73, 'encoding': 'windows-1252'} 
a.decode('windows-1252') 
u'\xe6\u02c6\u2018' 
chardet.detect(a.decode('windows-1252').encode('utf-8')) 
type(a.decode('windows-1252')) 
unicode 
type(a.decode('windows-1252').encode('utf-8')) 
str 
chardet.detect(a.decode('windows-1252').encode('utf-8')) 
{'confidence': 0.87625, 'encoding': 'utf-8'} 
 
 
a ="我是中国人" 
type(a) 
str 
{'confidence': 0.9690625, 'encoding': 'utf-8'} 
chardet.detect(a) 
# -*- coding:utf-8 -*- 
import chardet 
import urllib2 
#抓取网页html 
html = urllib2.urlopen('http://www.jb51.net/').read() 
print html 
mychar=chardet.detect(html) 
print mychar 
bianma=mychar['encoding'] 
if bianma == 'utf-8' or bianma == 'UTF-8': 
 html=html.decode('utf-8','ignore').encode('utf-8') 
else: 
 html =html.decode('gb2312','ignore').encode('utf-8') 
print html 
print chardet.detect(html)

Python-Code Die Kodierung der Datei
Py-Datei ist standardmäßig ASCII-Kodierung. Wenn Chinesisch angezeigt wird, wird sie von ASCII in die Standardkodierung des Systems konvertiert. Zu diesem Zeitpunkt tritt ein Fehler auf: SyntaxError: Non -ASCII-Zeichen. Kodierungsanweisungen müssen in die erste Zeile der Codedatei eingefügt werden:

# -*- coding:utf-8 -*- 
 
print '中文'

Die wie oben direkt eingegebene Zeichenfolge wird entsprechend kodiert Codedatei 'utf-8' zur Verarbeitung
Wenn Unicode-Kodierung verwendet wird, wird die folgende Methode verwendet:

s1 = u'Chinesisch' #u bedeutet, Informationen in Unicode-Kodierung zu speichern

decode ist eine Methode, mit der jede Zeichenfolge in das Unicode-Format konvertiert werden muss. Der Parameter gibt das Codierungsformat der Quellzeichenfolge an.
encode ist auch eine Methode, die jeder String hat und die den String in das durch den Parameter angegebene Format konvertiert.

Das Obige ist der gesamte Inhalt dieses Artikels. Ich hoffe, dass er zum Lernen aller beiträgt. Ich hoffe auch, dass jeder die PHP-Chinesisch-Website unterstützt.

Weitere verwandte Artikel zur Lösung des Problems verstümmelter Zeichen in Python-Webcrawlern finden Sie auf der chinesischen PHP-Website!