python - pyspider爬取了接近1G的数据，无法导出csv？

Question

已经增加虚拟机内存至2g，依然无法导出。

Answer 1

Généralement, il est exporté sous forme de fichiers. Si les données d'une unité sont d'environ 1 Mo, elles seront divisées en 1024 fichiers.

De plus, il n'est pas pratique de synthétiser un CSV 1G, car un CSV 1G est quasiment impossible à ouvrir. Si vous voulez vraiment synthétiser 1G, vous pouvez synthétiser plus d'un millier de fichiers exportés dans un CSV. La synthèse de fichiers est facile à réaliser en Python.

Answer 2

Le traitement CSV mensuel des données 1G n'est pas raisonnable. Essayez sqlite3.

Answer 3

8G ne suffit pas. Il est recommandé de choisir une base de données comme solution de stockage. Un CSV 1G n'a aucun sens.

Answer 4

L'utilisation de l'intranet FTP pour télécharger est très rapide. J'ai téléchargé 8g il y a deux jours. J'ai l'impression que le téléchargement n'a pris que quelques minutes

.