python menambah lajur kepada 8000 baris csv

Question

Saya ingin menambah lebih daripada 2,000 lajur pada csv sedia ada dengan lebih daripada 8,000 lajur Memandangkan fail terlalu besar, ia tidak boleh dimuatkan ke dalam memori sekaligus, jadi saya ingin menulisnya ke dalam lajur csv sedia ada demi lajur. Saya telah mencuba banyak kaedah. Tiada satu pun yang berkesan, sila beritahu saya cara menyelesaikannya

Answer 1

Baca dalam baris dan kemudian tambah lajur ini. CSV pada umumnya ialah fail teks yang dibatasi koma, dan ia boleh diproses mengikut kaedah pemprosesan fail teks. Proses umum ialah:
1 Baca baris
2 Pisahkan rentetan dengan koma
3 Tambahkan elemen lajur yang anda mahukan pada tatasusunan
4 Masukkan fail baharu
6 Hanya pergi ke penghujung fail.

Answer 2

panda mempunyai bacaan blok, kod sampel

import pandas as pd

reader = pd.read_csv('a.csv', iterator=True)

header = True
try:
    df = reader.get_chunk(10000)

    #循环加添新列到df
    df['新列'] = '值'

    #把记录追加到新csv
    df.to_csv('b.csv', mode='a', index=False, header=header)
    
    #文件头只写一次
    header = False

except StopIteration:
    pass