検索

ホームページ  >  に質問  >  本文

Python - mongodb重複排除

1. この関数では、ownerId などのフィールドに基づいて重複しているかどうかを判断し、存在するものは破棄する必要があるため、distinct メソッドを使用しましたが、この間にデータ量が徐々に増加したため、次のような疑問が生じました。

操作失敗: 明らかに大きすぎます、16MB の上限です

これはコマンド ラインのエラーです。distinct によって返された結果が大きすぎて 16M を超えていると言われています。専門家がいくつかのメソッドに貢献できますか?

要件: ownerId フィールドがデータベースに出現するかどうかを毎回確認します。データベースは常に更新されており、存在しない ownerId はしばらく処理されるとデータベースに格納されるため、毎回判断する必要があります。データベースの所有者フィールドを再確認する必要があります。したがって、速度要件は比較的高くなります。
ぜひご覧いただき、ご意見をお聞かせください。

高洛峰高洛峰2741日前767

全員に返信(1)返信します

  • 迷茫

    迷茫2017-05-17 10:04:13

    私の理解が正しければ、一意のインデックスを検討しましたか?

    ご参考までに。

    MongoDB が大好きです!楽しむ!

    返事
    0
  • キャンセル返事