Sekiranya python menggunakan jeruk atau csv dalam keadaan ini?

Question

Saya mempunyai beratus-ratus fail M CSV di tangan untuk menyimpan beberapa data, dan saya sering perlu menggunakan panda dan matplotlib untuk membaca dan merancang data ini. Sebelum melukis, biasanya perlu melakukan prapemprosesan, penghirisan dan operasi pembersihan lain Kerana angka perlu berinteraksi dan dilaporkan dengan kerap, saya menggunakan %matplotlib notebook dalam buku nota jupyter untuk mengendalikan dan berinteraksi data disimpan dalam csv supaya ia boleh dibaca terus dari csv untuk mendapatkan data perantaraan untuk paparan seterusnya, atau adakah ia harus disimpan menggunakan jeruk, supaya lebih cepat membaca jeruk untuk kegunaan seterusnya?

Answer 1

CSV mesti selamat Nampaknya menukar acar kepada versi ular sawa yang lain boleh menyebabkan kegagalan membaca Ini bukan format universal. Jika ia adalah beberapa ratus megabait, kelajuan bacaan csv sebenarnya tidak perlahan. Apatah lagi, terdapat hdf5, ini adalah format pertukaran data yang serius.

Answer 2

csv sudah memadai, jika anda rasa ia tidak cukup pantas, anda boleh mencuba fail hdf5