python - pyspider爬取了接近1G的数据，无法导出csv？

Question

已经增加虚拟机内存至2g，依然无法导出。

Answer 1

일반적으로 한 단위의 데이터가 1M 정도라면 1024개의 파일로 나누어집니다.

또한 1G CSV는 열기가 거의 불가능하기 때문에 1G CSV를 합성하는 것은 비현실적입니다. 정말로 1G를 합성하고 싶다면 내보낸 파일 1000개 이상을 CSV로 합성할 수 있습니다. 파일 합성은 Python에서 쉽게 수행할 수 있습니다.

Answer 2

월 1G 데이터를 CSV로 처리하는 것은 합리적이지 않습니다. sqlite3을 사용해 보세요.

Answer 3

8G로는 충분하지 않습니다. 스토리지 솔루션으로 데이터베이스를 선택하는 것이 좋습니다. 1G CSV는 의미가 없습니다.

Answer 4

FTP 인트라넷을 사용하면 다운로드 속도가 매우 빠릅니다. 이틀 전에 8g을 업로드했는데 다운로드하는 데 몇 분 밖에 걸리지 않은 것 같습니다.