python - pyspider爬取了接近1G的数据，无法导出csv？

Question

已经增加虚拟机内存至2g，依然无法导出。

Answer 1

一般是分文件導出的，如果一個單位的資料大約是1M的話，就分成1024個文件。

另外，合成1G的csv也是不合實際的，因為1G的csv幾乎是打不開的。如果實在是要合成1G的話，把導出的一千多個檔案再合成為一份CSV即可，檔案合成python很容易實現。

Answer 2

1G的資料月CSV處理本身就不太合理了。試試看sqlite3。

Answer 3

8G一樣不夠，建議選擇資料庫作為儲存方案，1G規模的CSV是沒有存在的意義的。

Answer 4

用ftp內網下載飛快.我前兩天傳8個g.感覺就是幾分鐘就下載好了