Bagaimana Mengendalikan Pengekodan UTF8 dalam Python Semasa Membaca Fail CSV?

Membaca Fail CSV UTF8 dengan Python

Fail CSV, yang biasa digunakan untuk pertukaran data, selalunya mengandungi aksara beraksen yang memerlukan pengekodan UTF8 untuk mengekalkan integritinya. Csvreader Python, bagaimanapun, hanya menyokong data ASCII.

Masalah

Apabila cuba membaca fail CSV UTF8 dengan aksara Perancis atau Sepanyol aksen, walaupun menggunakan kod untuk mengendalikan pengekodan UTF8, pengecualian berikut telah ditemui:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 68: ordinal not in range(128)

Penyelesaian

Penyelesaian terletak pada pemahaman tujuan kaedah pengekodan. Ia menukar rentetan Unicode kepada rentetan bait, bukan sebaliknya. Dengan menggunakan modul codec dengan betul dan khususnya codecs.open untuk mengendalikan fail teks UTF8, kod boleh dipermudahkan:

<code class="python">import csv

def unicode_csv_reader(utf8_data, dialect=csv.excel, **kwargs):
    csv_reader = csv.reader(utf8_data, dialect=dialect, **kwargs)
    for row in csv_reader:
        yield [unicode(cell, 'utf-8') for cell in row]

filename = 'da.csv'
reader = unicode_csv_reader(open(filename))
for field1, field2, field3 in reader:
  print field1, field2, field3 </code>

Nota

Jika data input tiada dalam UTF8, seperti ISO-8859-1, kod tersebut memerlukan transcoding:

<code class="python">line.decode('whateverweirdcodec').encode('utf-8')</code>

Walau bagaimanapun, ini selalunya tidak perlu kerana csv boleh mengendalikan rentetan bait berkod ISO-8859-* secara langsung.

Atas ialah kandungan terperinci Bagaimana Mengendalikan Pengekodan UTF8 dalam Python Semasa Membaca Fail CSV?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!