搜尋

首頁  >  問答  >  主體

python該種情形下應該使用pickle還是csv

我手上有許多個上百M的csv儲存一些數據,需要經常使用pandas和matplotlib對這些數據讀取並進行繪圖。在繪圖之前,通常要進行預處理,切片等等清洗操作,因為要經常對figure進行交互操作和作報告,所以我在jupyter notebook中使用%matplotlib notebook進行操作和交互,我是將這些由原始數據產生的中間數據由csv保存,以便下次展示時直接讀取csv獲得中間數據,還是使用pickle保存,後續使用時讀取pickle更快?

给我你的怀抱给我你的怀抱2745 天前847

全部回覆(2)我來回復

  • PHP中文网

    PHP中文网2017-05-18 11:02:47

    肯定是csv安全啊,pickle似乎換一個python版本都可能導致讀取失敗的,這個不是通用格式。幾百兆的話,csv其實讀取速度不慢。更何況還有hdf5,這些才是正經的資料交換格式。

    回覆
    0
  • 天蓬老师

    天蓬老师2017-05-18 11:02:47

    csv夠用了,如果覺得不夠快可以試試hdf5檔

    回覆
    0
  • 取消回覆