Heim >Backend-Entwicklung >Python-Tutorial >Serialisierung und Deserialisierung von Python-Objekten: Teil 2
Dies ist der zweite Teil eines Tutorials zum Serialisieren und Deserialisieren von Python-Objekten. Im ersten Teil haben Sie die Grundlagen erlernt und sich dann in die Details von Pickle und JSON vertieft.
In diesem Teil erkunden Sie YAML (stellen Sie sicher, dass Sie das laufende Beispiel aus Teil eins haben), besprechen Leistungs- und Sicherheitsüberlegungen, lernen andere Serialisierungsformate kennen und erfahren schließlich, wie Sie das richtige auswählen. p>
YAML ist mein Lieblingsformat. Es handelt sich um ein benutzerfreundliches Datenserialisierungsformat. Im Gegensatz zu Pickle und JSON ist es nicht Teil der Python-Standardbibliothek, daher müssen Sie es installieren:
pip 安装 yaml
yaml-Modul verfügt nur über load()
和dump()
函数。默认情况下,它们使用像 loads()
和 dumps()
solcher Zeichenfolgen, kann aber ein zweites Argument annehmen, bei dem es sich um einen offenen Stream handelt, der dann in eine/aus einer Datei gedumpt/geladen werden kann.
import yaml print yaml.dump(simple) boolean: true int_list: [1, 2, 3] none: null number: 3.44 text: string
Bitte beachten Sie, wie lesbar YAML im Vergleich zu Pickle oder sogar JSON ist. Jetzt kommt der coole Teil von YAML: Es versteht Python-Objekte! Es sind keine benutzerdefinierten Encoder und Decoder erforderlich. Hier ist eine komplexe Serialisierung/Deserialisierung mit YAML:
> serialized = yaml.dump(complex) > print serialized a: !!python/object:__main__.A simple: boolean: true int_list: [1, 2, 3] none: null number: 3.44 text: string when: 2016-03-07 00:00:00 > deserialized = yaml.load(serialized) > deserialized == complex True
Wie Sie sehen, verfügt YAML über eine eigene Notation zum Beschriften von Python-Objekten. Die Ausgabe ist immer noch sehr gut lesbar. Datetime-Objekte erfordern kein spezielles Markup, da YAML Datetime-Objekte von Natur aus unterstützt.
Bevor Sie über Leistung nachdenken, müssen Sie überlegen, ob Leistung ein Problem darstellt. Wenn Sie relativ selten kleine Datenmengen serialisieren/deserialisieren (z. B. beim Lesen einer Konfigurationsdatei zu Beginn Ihres Programms), ist die Leistung kein wirkliches Problem und Sie können weitermachen.
Angenommen, Sie profilieren Ihr System und stellen fest, dass die Serialisierung und/oder Deserialisierung Leistungsprobleme verursacht, dann müssen die folgenden Probleme behoben werden.
Leistung hat zwei Aspekte: Wie schnell ist die Serialisierung/Deserialisierung und wie groß ist die serialisierte Darstellung?
Um die Leistung verschiedener Serialisierungsformate zu testen, werde ich eine größere Datenstruktur erstellen und diese mit Pickle, YAML und JSON serialisieren/deserialisieren. big_data
Liste enthält 5.000 komplexe Objekte.
big_data = [dict(a=simple, when=datetime.now().replace(microsecond=0)) for i in range(5000)]
Ich werde hier IPython verwenden, da es über praktische %timeit
magische Funktionen zum Messen der Ausführungszeit verfügt.
import cPickle as pickle In [190]: %timeit serialized = pickle.dumps(big_data) 10 loops, best of 3: 51 ms per loop In [191]: %timeit deserialized = pickle.loads(serialized) 10 loops, best of 3: 24.2 ms per loop In [192]: deserialized == big_data Out[192]: True In [193]: len(serialized) Out[193]: 747328
Standard-Pickle benötigt 83,1 Millisekunden für die Serialisierung und 29,2 Millisekunden für die Deserialisierung, mit einer serialisierten Größe von 747.328 Bytes.
Versuchen wir es mit dem höchsten Protokoll.
In [195]: %timeit serialized = pickle.dumps(big_data, protocol=pickle.HIGHEST_PROTOCOL) 10 loops, best of 3: 21.2 ms per loop In [196]: %timeit deserialized = pickle.loads(serialized) 10 loops, best of 3: 25.2 ms per loop In [197]: len(serialized) Out[197]: 394350
Interessante Ergebnisse. Die Serialisierungszeit sank auf nur 21,2 ms, die Deserialisierungszeit stieg jedoch leicht auf 25,2 ms. Die serialisierte Größe wird deutlich auf 394.350 Byte (52 %) reduziert.
In [253] %timeit serialized = json.dumps(big_data, cls=CustomEncoder) 10 loops, best of 3: 34.7 ms per loop In [253] %timeit deserialized = json.loads(serialized, object_hook=decode_object) 10 loops, best of 3: 148 ms per loop In [255]: len(serialized) Out[255]: 730000
Okay. Die Leistung beim Kodieren scheint etwas schlechter zu sein als bei Pickle, aber die Leistung beim Dekodieren ist viel, viel schlechter: 6x langsamer. Was ist los? Dies ist ein Artefakt der object_hook
-Funktion, die für jedes Wörterbuch ausgeführt werden muss, um zu prüfen, ob es in ein Objekt konvertiert werden muss. Es läuft viel schneller, ohne Objekt-Hooks zu verwenden.
%timeit deserialized = json.loads(serialized) 10 loops, best of 3: 36.2 ms per loop
Die Lektion hier besteht darin, jede benutzerdefinierte Codierung bei der Serialisierung und Deserialisierung in JSON sorgfältig zu berücksichtigen, da sie einen erheblichen Einfluss auf die Gesamtleistung haben kann.
In [293]: %timeit serialized = yaml.dump(big_data) 1 loops, best of 3: 1.22 s per loop In[294]: %timeit deserialized = yaml.load(serialized) 1 loops, best of 3: 2.03 s per loop In [295]: len(serialized) Out[295]: 200091
Okay. YAML ist wirklich sehr, sehr langsam. Beachten Sie jedoch etwas Interessantes: Die serialisierte Größe beträgt nur 200.091 Byte. Viel besser als Pickle und JSON. Werfen wir einen kurzen Blick hinein:
In [300]: print serialized[:211] - a: &id001 boolean: true int_list: [1, 2, 3] none: null number: 3.44 text: string when: 2016-03-13 00:11:44 - a: *id001 when: 2016-03-13 00:11:44 - a: *id001 when: 2016-03-13 00:11:44
YAML ist hier sehr clever. Es stellt fest, dass alle 5.000 Wörterbücher denselben „a“-Schlüsselwert haben, speichert ihn also nur einmal und referenziert ihn mit *id001
für alle Objekte.
Sicherheit ist oft ein kritisches Thema. Pickle und YAML sind aufgrund ihrer Konstruktion aus Python-Objekten anfällig für Codeausführungsangriffe. Clever formatierte Dateien können beliebigen Code enthalten, der von Pickle oder YAML ausgeführt wird. Kein Grund zur Panik. Dies ist beabsichtigt und in der Dokumentation von Pickle dokumentiert:
Warnung: Das Pickle-Modul schützt nicht vor falschen oder böswillig erstellten Daten. Löschen Sie niemals Daten, die Sie von nicht vertrauenswürdigen oder nicht authentifizierten Quellen erhalten haben.
Und was steht im YAML-Dokument:
Warnung: Es ist nicht sicher, yaml.load mit Daten aufzurufen, die von nicht vertrauenswürdigen Quellen stammen! yaml.load ist genauso leistungsstark wie pickle.load und kann daher jede Python-Funktion aufrufen.
Wissen Sie nur, dass Sie Pickle oder YAML nicht zum Laden serialisierter Daten verwenden sollten, die von nicht vertrauenswürdigen Quellen stammen. JSON ist in Ordnung, aber wenn Sie einen benutzerdefinierten Encoder/Decoder haben, sind Sie möglicherweise ebenfalls ungeschützt.
Dasyaml-Modul bietet die yaml.safe_load()
-Funktion, die nur einfache Objekte lädt, aber dann verlieren Sie einen Großteil der Funktionalität von YAML und entscheiden sich möglicherweise dafür, nur JSON zu verwenden.
Es sind viele andere Serialisierungsformate verfügbar. Hier sind einige davon.
Protobuf (d. h. Protocol Buffer) ist das Datenaustauschformat von Google. Es ist in C++ implementiert, verfügt jedoch über Python-Anbindungen. Es verfügt über eine ausgefeilte Architektur und verpackt Daten effizient. Sehr leistungsstark, aber nicht sehr einfach zu bedienen.
MessagePack ist ein weiteres beliebtes Serialisierungsformat. Es ist ebenfalls binär und effizient, erfordert aber im Gegensatz zu Protobuf kein Schema. Es verfügt über ein Typsystem, das JSON ähnelt, jedoch umfangreicher ist. Schlüssel können von beliebigem Typ sein, nicht nur Zeichenfolgen, und Nicht-UTF8-Zeichenfolgen werden unterstützt.
CBOR steht für Concise Binary Object Representation. Ebenso unterstützt es das JSON-Datenmodell. CBOR ist nicht so berühmt wie Protobuf oder MessagePack, aber aus zwei Gründen interessant:
Das ist eine große Frage. So viele Möglichkeiten, wie wählt man aus? Betrachten wir die verschiedenen Faktoren, die berücksichtigt werden sollten:
Ich mache es Ihnen ganz einfach und gehe ein paar gängige Szenarien und das Format durch, das ich jeweils empfehle:
Verwenden Sie hier Pickle (cPickle) und HIGHEST_PROTOCOL
. Es ist schnell, effizient und kann die meisten Python-Objekte ohne speziellen Code speichern und laden. Es kann auch als lokaler persistenter Cache verwendet werden.
Auf jeden Fall YAML. Für alles, was Menschen lesen oder bearbeiten müssen, geht nichts über seine Einfachheit hinaus. Es wurde von Ansible und vielen anderen Projekten erfolgreich eingesetzt. In manchen Fällen bevorzugen Sie möglicherweise die Verwendung direkter Python-Module als Konfigurationsdateien. Dies mag die richtige Wahl sein, aber es handelt sich nicht um Serialisierung, sondern um einen Teil des Programms und nicht um eine separate Konfigurationsdatei.
JSON ist hier der klare Gewinner. Heutzutage werden Web-APIs am häufigsten von JavaScript-Webanwendungen verwendet, die JSON nativ verwenden. Einige Web-APIs geben möglicherweise andere Formate zurück (z. B. CSV für dichte tabellarische Ergebnismengen), aber ich denke, Sie können die CSV-Daten mit minimalem Overhead in JSON packen (keine Notwendigkeit, jede Zeile als Objekt mit allen Spaltennamen zu wiederholen).
Verwenden Sie eines der Binärprotokolle: Protobuf (falls Architektur erforderlich), MessagePack oder CBOR. Führen Sie Ihre eigenen Tests durch, um die Leistung und Darstellungsmöglichkeiten jeder Option zu überprüfen.
Serialisierung und Deserialisierung von Python-Objekten ist ein wichtiger Aspekt verteilter Systeme. Sie können Python-Objekte nicht direkt über das Netzwerk senden. Sie müssen häufig mit anderen Systemen interagieren, die in anderen Sprachen implementiert sind, und manchmal möchten Sie einfach nur den Status Ihres Programms in einem dauerhaften Speicher speichern.
Python verfügt über mehrere Serialisierungsschemata in seiner Standardbibliothek und viele weitere sind als Module von Drittanbietern verfügbar. Wenn Sie alle Optionen sowie deren Vor- und Nachteile kennen, können Sie die Methode auswählen, die am besten zu Ihrer Situation passt.
Das obige ist der detaillierte Inhalt vonSerialisierung und Deserialisierung von Python-Objekten: Teil 2. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!