搜尋

首頁  >  問答  >  主體

mongodb - mongo shard擴充遇到了問題---新的shard被寫入的資料量很少,move chunk很慢很慢

我當前正在為一組shard擴容

之前是3 shard,70億數據,1.2T,2.4.3

當我將其擴容到6 shard之後發現幾個問題:

  1. 通過mongostat查看mongos,發現每秒的寫入量在500個左右,而新增加的shard分到的寫入量在1~5個左右,也就是老的shard上的寫入量依舊很大,而新shard的寫入量很低,所以導致新寫入數據的chunk無法均衡分散。

  2. move chunk經常出現too big的問題,我查看了chunk size是32M,我把它調整到了64M後跑了一晚上,剛才看了下balancer依然會出現這個錯誤,更令人奇怪的是錯誤日誌裏報出too big的estimatedChunkSize實際上隻有20M~50M,小於我的chunk size。

  3. move chunk進行的非常非常緩慢,一般一晚上能move chunk在20個左右。我的每一條數據都很小,是:{"_id":BinData(x,xxxxxxxxx),stat:1}這樣的東西。

請解答,謝謝

伊谢尔伦伊谢尔伦2803 天前818

全部回覆(1)我來回復

  • 黄舟

    黄舟2017-04-22 08:58:32

    MongoDB sharding 中moveChunk過程中chunkTooBig原因分析

    回覆
    0
  • 取消回覆