python - pyspider爬取了接近1G的数据，无法导出csv？

Question

已经增加虚拟机内存至2g，依然无法导出。

Answer 1

Secara amnya, ia dieksport dalam fail Jika data satu unit adalah kira-kira 1M, ia akan dibahagikan kepada 1024 fail.

Selain itu, adalah tidak praktikal untuk mensintesis CSV 1G, kerana CSV 1G hampir mustahil untuk dibuka. Jika anda benar-benar ingin mensintesis 1G, anda boleh mensintesis lebih daripada seribu fail yang dieksport ke dalam CSV Fail sintesis mudah dicapai dalam python.

Answer 2

Pemprosesan CSV data 1G setiap bulan adalah tidak munasabah. Cuba sqlite3.

Answer 3

8G tidak mencukupi. Adalah disyorkan untuk memilih pangkalan data sebagai penyelesaian penyimpanan A 1G CSV tidak mempunyai makna.

Answer 4

Menggunakan intranet ftp untuk memuat turun adalah sangat pantas saya memuat naik 8g dua hari lalu. Rasanya hanya mengambil masa beberapa minit untuk memuat turun