찾다

 >  Q&A  >  본문

python - 180万的MongoDB数据,如何分割?

写了个采集爬虫,采集了大概180万条URL,现在要给它平均分割成多份,然后保存文件。
请问要怎么做比较好。

PHPzPHPz2889일 전340

모든 응답(2)나는 대답할 것이다

  • 黄舟

    黄舟2017-04-17 17:45:06

    mongo 자체 도구 사용

    mongo와 함께 제공되는 도구를 사용하여 json, cvs 또는 txt 형식으로 내보냅니다.

    형식은

    입니다. 으아아아

    밤 하나 주세요

    데이터베이스는 test이고, collectionscol입니다. 내부 데이터는 다음과 같습니다

    으아아아

    이제 세 개의 파일로 동일하게 내보냅니다.

    으아아아

    스크립트를 작성하고 시도해 볼 수 있습니다.

    설명: -d는 데이터베이스를 지정하고, -c는 컬렉션을 지정하고, -q는 쿼리를 지정하며 다음 파일 형식이 지원됩니다. json、cvs、txt

    회신하다
    0
  • ringa_lee

    ringa_lee2017-04-17 17:45:06

    일반적으로 180w 데이터는 분할할 필요가 없습니다.
    샤드키 선택 원칙은 공식문서에 실제로 자세히 설명되어 있으니 참고하시면 좋을 것 같습니다.

    회신하다
    0
  • 취소회신하다