Rumah > Artikel > pembangunan bahagian belakang > Petua untuk menghuraikan data XML berskala besar menggunakan Python
Petua dan contoh kod untuk menggunakan Python untuk menghuraikan data XML berskala besar
1. Pengenalan
XML (Bahasa Penanda Boleh Diperluas) ialah bahasa penanda yang digunakan untuk menyimpan dan menghantar data, serta menerangkan sendiri dan boleh dikembangkan. Apabila memproses fail XML berskala besar, teknik dan alatan khusus selalunya diperlukan untuk meningkatkan kecekapan dan mengurangkan penggunaan memori. Artikel ini akan memperkenalkan beberapa teknik biasa untuk menghuraikan data XML berskala besar dalam Python dan memberikan contoh kod yang sepadan.
2. Gunakan penghurai SAX
Gunakan modul xml.sax terbina dalam Python untuk menghuraikan data XML dalam cara yang didorong oleh peristiwa. Berbanding dengan penghurai DOM (Model Objek Dokumen), penghurai SAX (API Mudah untuk XML) mempunyai kelebihan yang jelas apabila memproses fail XML berskala besar. Ia tidak perlu memuatkan keseluruhan fail ke dalam memori, tetapi membaca data baris demi baris mengikut struktur fail XML, dan mencetuskan fungsi panggil balik yang sepadan untuk pemprosesan apabila ia menemui peristiwa tertentu (seperti teg mula, tag tamat, data aksara , dsb.).
Berikut ialah contoh kod yang menggunakan penghurai SAX untuk menghuraikan data XML berskala besar:
import xml.sax class MyContentHandler(xml.sax.ContentHandler): def __init__(self): self.current_element = "" self.current_data = "" def startElement(self, name, attrs): self.current_element = name def characters(self, content): if self.current_element == "name": self.current_data = content def endElement(self, name): if name == "name": print(self.current_data) self.current_data = "" parser = xml.sax.make_parser() handler = MyContentHandler() parser.setContentHandler(handler) parser.parse("large.xml")
Dalam kod di atas, kami telah memperibadikan kelas pemproses MyContentHandler yang diwarisi daripada xml.sax.ContentHandler. Dalam fungsi panggil balik seperti startElement, aksara dan endElement, kami memproses data XML mengikut keperluan sebenar. Dalam contoh ini, kami hanya mengambil berat tentang data elemen nama dan mencetaknya.
3 Gunakan perpustakaan lxml untuk menghuraikan data XML
lxml ialah perpustakaan Python yang berkuasa yang menyediakan API yang cekap untuk memproses data XML dan HTML. Ia boleh digabungkan dengan XPath (bahasa untuk memilih nod XML) untuk mengekstrak dan memanipulasi data XML dengan mudah. Untuk memproses data XML berskala besar, lxml selalunya lebih cekap daripada modul xml terbina dalam.
Berikut ialah contoh kod untuk menghuraikan data XML berskala besar menggunakan perpustakaan lxml:
import lxml.etree as et def process_xml_element(element): name = element.find("name").text print(name) context = et.iterparse("large.xml", events=("end", "start")) _, root = next(context) for event, element in context: if event == "end" and element.tag == "entry": process_xml_element(element) root.clear()
Dalam kod di atas, kami menggunakan fungsi iterparse modul lxml.etree untuk menghuraikan data XML baris demi baris. Dengan menentukan parameter peristiwa sebagai ("akhir", "mula"), kita boleh melaksanakan logik pemprosesan yang sepadan pada permulaan dan penghujung setiap elemen XML. Dalam kod sampel, kami memanggil fungsi process_xml_element untuk memproses data elemen nama apabila elemen masukan dihuraikan.
4. Menghuraikan data XML berskala besar dalam ketulan
Apabila memproses data XML berskala besar, jika keseluruhan fail dimuatkan ke dalam memori untuk dihuraikan pada satu-satu masa, ia mungkin menyebabkan penggunaan memori yang berlebihan dan juga menyebabkan program ranap. Penyelesaian biasa adalah untuk memecahkan fail XML kepada ketulan kecil untuk dihuraikan.
Berikut ialah contoh kod untuk menghuraikan data XML berskala besar dalam ketulan:
import xml.etree.ElementTree as et def process_xml_chunk(chunk): root = et.fromstringlist(chunk) for element in root.iter("entry"): name = element.find("name").text print(name) chunk_size = 100000 with open("large.xml", "r") as f: while True: chunk = "".join(next(f) for _ in range(chunk_size)) if chunk: process_xml_chunk(chunk) else: break
Dalam kod di atas, kami menghuraikan ketulan data XML demi ketul dengan membahagikan fail XML kepada ketulan kecil yang setiap satu mengandungi 100000 baris. Dalam fungsi process_xml_chunk, kami menggunakan fungsi fromstringlist modul xml.etree.ElementTree untuk menukar bongkah rentetan menjadi objek Elemen dan kemudian melaksanakan pemprosesan data seperti yang diperlukan.
5. Gunakan kumpulan proses untuk menghuraikan data XML secara selari.
import xml.etree.ElementTree as et from multiprocessing import Pool def parse_xml_chunk(chunk): root = et.fromstringlist(chunk) entries = root.findall("entry") return [entry.find("name").text for entry in entries] def process_xml_data(data): with Pool() as pool: results = pool.map(parse_xml_chunk, data) for result in results: for name in result: print(name) chunk_size = 100000 data = [] with open("large.xml", "r") as f: while True: chunk = [next(f) for _ in range(chunk_size)] if chunk: data.append(chunk) else: break process_xml_data(data)Dalam kod di atas, fungsi "parse_xml_chunk" dihantar ke berbilang proses untuk pelaksanaan selari dan setiap proses bertanggungjawab untuk menghuraikan sebahagian kecil data XML . Selepas penghuraian selesai, proses utama menggabungkan hasil dan mengeluarkannya. 6. Ringkasan
Artikel ini memperkenalkan beberapa teknik biasa untuk menggunakan Python untuk menghuraikan data XML berskala besar dan menyediakan contoh kod yang sepadan. Dengan menggunakan kaedah seperti penghurai SAX, perpustakaan lxml, penghuraian ketulan dan keselarian kumpulan proses, kecekapan dan prestasi menghurai data XML berskala besar boleh dipertingkatkan. Dalam aplikasi praktikal, memilih kaedah yang sesuai mengikut keperluan sebenar dapat mengatasi cabaran pemprosesan data XML dengan lebih baik.
Atas ialah kandungan terperinci Petua untuk menghuraikan data XML berskala besar menggunakan Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!