python - 180万的MongoDB数据，如何分割？

Question

写了个采集爬虫，采集了大概180万条URL，现在要给它平均分割成多份，然后保存文件。
请问要怎么做比较好。

Answer 1

mongo 独自のツールを使用する

mongo に付属のツールを使用して、json または cvs または txt 形式にエクスポートします。

形式は

です リーリー

栗をください

データベースは test、collections は col です。中のデータは以下の通りです

リーリー

今度は 3 つのファイルに均等にエクスポートします。

リーリー

スクリプトを書いて試してみることができます。

説明: -d はデータベースを指定し、-c はコレクションを指定し、-q はクエリを指定します。次のファイル形式は json、cvs、txt

をサポートします。

Answer 2

通常、180wのデータを分割する必要はありません。
シャードキーを選択するための原則は、実際には公式ドキュメントで詳しく説明されています。詳しく知りたい場合は、それを参照するとよいでしょう。