Scrapy wurde erneut aktualisiert: offizielle Version 1.0

Kürzlich hat Pythons Webcrawler-Framework Scrapy die offizielle Version 1.0 veröffentlicht, die viele wichtige Upgrades und Verbesserungen für Scrapy mit sich bringt. In diesem Artikel werden einige wichtige Updates und Verbesserungen vorgestellt, die die neue Version von Scrapy mit sich bringt.

1. Twisted-basierte asynchrone Netzwerk-Engine

In Version 1.0 ersetzte Scrapy die vorherige Parallelitäts-Engine durch eine Twisted-basierte asynchrone Netzwerk-Engine. Twisted ist ein hervorragendes ereignisgesteuertes Framework, das asynchrone E/A- und Netzwerkprogrammierung unterstützt, und auch Scrapy selbst setzt auf Twisted. Die Verwendung einer asynchronen Netzwerk-Engine auf Basis von Twisted kann Scrapy effizienter und stabiler machen.

2. Neuer Selektor

In Version 1.0 führt Scrapy einen neuen Selektor ein, der auf Basis der lxml-Bibliothek implementiert ist. Im Vergleich zum alten Selector ist der neue Selector schneller und stabiler und unterstützt auch mehr Selektorsprachen wie XPath- und CSS-Selektoren. Darüber hinaus unterstützt der neue Selektor auch verschachtelte Knoten, d. h. die Verwendung des „/“-Zeichens im Selektorausdruck zur Auswahl von übergeordneten und untergeordneten Knoten.

3. Neue Item-Pipeline

In Version 1.0 führt Scrapy eine neue Item-Pipeline ein, die flexibler und einfacher zu verwenden ist. Die neue Item Pipeline unterstützt mehrere Prozessoren und kann Daten je nach Bedarf an verschiedene Prozessoren zur Verarbeitung senden, z. B. Datenbanken, Dateien usw. Darüber hinaus kann die neue Item Pipeline auch Daten filtern und sortieren, um verschiedenen Anforderungen gerecht zu werden.

4. Neue Befehlszeilentools

In Version 1.0 führt Scrapy neue Befehlszeilentools ein, die die Verwendung von Scrapy vereinfachen. Das neue Befehlszeilentool bietet viele neue Befehle zum Debuggen, Testen und Optimieren von Crawling-Code. Beispielsweise können Sie mit dem Befehl „check“ die Syntaxfehler des Crawler-Codes überprüfen, mit dem Befehl „spider“ den Crawler starten und die Ergebnisse ausgeben usw.

5. Weitere Verbesserungen

Zusätzlich zu den oben genannten wichtigen Updates weist Version 1.0 von Scrapy einige weitere Verbesserungen auf. Beispielsweise wurde der Ausnahmebehandlungsmechanismus optimiert, um Scrapy robuster und zuverlässiger zu machen. Darüber hinaus bietet Version 1.0 auch ein neues Datenspeicherformat, das das direkte Speichern von Daten in JSON, XML und anderen Formaten unterstützt, ohne dass eine zusätzliche Konvertierung und Verarbeitung erforderlich ist.

Zusammenfassung:

Die Version 1.0 von Scrapy bringt viele wichtige Verbesserungen und Updates mit sich, die es effizienter, flexibler und benutzerfreundlicher machen. Funktionen wie die neue Version der Twisted-basierten asynchronen Netzwerk-Engine, der neue Selector, die neue Item Pipeline und neue Befehlszeilentools bringen Scrapy auf die nächste Stufe. Für Crawler-Entwickler ist Scrapy Version 1.0 zweifellos eine Version, auf die es sich zu freuen lohnt, sie zu verwenden.

Das obige ist der detaillierte Inhalt vonScrapy wurde erneut aktualisiert: offizielle Version 1.0. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!