Heim  >  Artikel  >  Datenbank  >  Lassen Sie uns über verschiedene Probleme mit MongoDB-Replikatsätzen sprechen

Lassen Sie uns über verschiedene Probleme mit MongoDB-Replikatsätzen sprechen

coldplay.xixi
coldplay.xixinach vorne
2020-12-21 18:01:133392Durchsuche

MongoDB-TutorialWir stellen vor, warum Sie Replikatsätze verwenden sollten

Lassen Sie uns über verschiedene Probleme mit MongoDB-Replikatsätzen sprechen

Empfohlen (kostenlos): MongoDB-Tutorial

Warum Sie Replikatsätze verwenden sollten

1. Daten sichern
Selbst Das mitgelieferte mongo_dump/mongo_restore-Tool kann auch eine Sicherung realisieren, ist aber schließlich nicht so praktisch wie die automatische Synchronisierungssicherung von Replikatsätzen. mongo_dump/mongo_restore 工具也可以实现备份,但是毕竟没有复制集的自动同步备份方便。

2.故障自动转移
部署了复制集,当主节点挂了后,集群会自动投票再从节点中选举出一个新的主节点,继续提供服务。而且这一切都是自动完成的,对运维人员和开发人员是透明的。当然,发生故障了还是得人工及时处理,不要过度依赖复制集,万一都挂了,那就连喘息的时间都没有了。

3.在某些特定的场景下提高读性能
默认情况下,读和写都只能在主节点上进行。
下面是MongoDB的客户端支持5种复制集读选项:

  • primary:默认模式,所有的读操作都在复制集的 主节点 进行的。
  • primaryPreferred:在大多数情况时,读操作在 主节点 上进行,但是如果主节点不可用了,读操作就会转移到 从节点 上执行。
  • secondary:所有的读操作都在复制集的 从节点 上执行。
  • secondaryPreferred:在大多数情况下,读操作都是在 从节点 上进行的,但是当 从节点 不可用了,读操作会转移到 主节点 上进行。
  • nearest:读操作会在 复制集 中网络延时最小的节点上进行,与节点类型无关。

来源:http://docs.mongoing.com/manual-zh/core/re...

不推荐在从节点上进行读操作,因为从节点上的数据可能不是最新数据(主要原因)。
在从节点上进行读操作的场景很有限,官方手册中写明了适用的场景和不推荐从节点读操作的多个原因:http://docs.mongoing.com/manual-zh/core/re...

说说我自己的看法:复制集并不是为了提高读性能而存在的,除了个别场景,不推荐在从节点上进行读操作。如果想提升读性能,那么请使用索引和分片。插一句,如果数据规模不大,就没必要使用分片了。我们线上数据库中单个集合记录有将近 2 亿条,性能还比较 OK(当然,机器配置也不差,而且上面就只跑了一个 Redis 和一个 MongoDB)。

如何部署复制集

请看手册:http://docs.mongoing.com/manual-zh/tutoria...

如何在程序中使用 MongoDB 复制集故障自动转移的特性

以 PHP 的 mongo 驱动为例。

$client = new MongoClient('mongodb://192.168.1.2:27018,192.168.1.3:27019,192.168.1.4:27020', array('replicaSet' => 'rs0'));

这样配置后,如果只是其中一台 MongoDB 服务挂断后,剩余的节点会自动选举出新的主节点,程序还是可以继续正常运行。在选举的过程中,程序还是会抛出异常的,尽管选举过程很快,但是为了程序的健壮性,必须考虑异常的处理。当然,如果选举不出新的主节点,那么整个 MongoDB 就不可用了。(根据上面讲的,如果复制集的读选项是配置的 primaryPreferred。如果没有了主节点,但是从节点还可用的话,那么读操作将转移到从节点上去,这样整个 MongoDB 复制集还能提供读操作服务)

其实如果指定了复制集名 'replicaSet' => 'rs0',那么就算不列出所有节点地址,仅写一个有效节点地址,mongo 驱动会自动获取到所有有效节点,$client->getHosts() 方法可以查看所有有效节点的地址。

但是如果你只写了一个节点地址,刚好是那个节点挂掉了,那就连不上了。所有我建议配置完整的节点地址列表

同步的原理是什么

开启复制集后,会在 local 库下生成一个集合叫 oplog.rs

2. Automatisches Failover🎜Ein Replikatsatz wird bereitgestellt. Wenn der Masterknoten ausfällt, wählt der Cluster automatisch einen neuen Masterknoten aus, um weiterhin Dienste bereitzustellen. Und das alles geschieht automatisch und transparent für Betrieb und Entwickler. Wenn ein Fehler auftritt, müssen Sie ihn natürlich trotzdem rechtzeitig manuell beheben. Verlassen Sie sich nicht zu sehr auf den Replikatsatz. Wenn alle ausfallen, haben Sie nicht einmal Zeit zum Durchatmen. 🎜🎜3. Verbessern Sie die Leseleistung in bestimmten spezifischen Szenarien. 🎜Standardmäßig können sowohl Lesen als auch Schreiben nur auf dem Masterknoten ausgeführt werden. 🎜Die folgenden 5 Replikatsatz-Leseoptionen werden vom MongoDB-Client unterstützt: 🎜
  • primär: Standardmodus, alle Lesevorgänge werden auf dem Primärknoten des Replikatsatzes ausgeführt.
  • primaryPreferred: In den meisten Fällen werden Lesevorgänge auf dem Primärknoten ausgeführt. Wenn der Primärknoten jedoch nicht verfügbar ist, werden die Lesevorgänge zur Ausführung an den Slave-Knoten übertragen.
  • Sekundär: Alle Lesevorgänge werden auf dem Slave-Knoten des Replikatsatzes ausgeführt.
  • SecondaryPreferred: In den meisten Fällen werden Lesevorgänge auf dem Slave-Knoten ausgeführt. Wenn der Slave-Knoten jedoch nicht verfügbar ist, wird der Lesevorgang auf den Primärknoten übertragen.
  • nearest: Der Lesevorgang wird auf dem Knoten mit der kleinsten Netzwerkverzögerung im Replikationssatz ausgeführt, unabhängig vom Knotentyp.
🎜Quelle: http://docs.mongoing.com/manual-zh/core/re...🎜🎜🎜Es wird nicht empfohlen, Lesevorgänge auf dem Slave-Knoten durchzuführen🎜, da der Die Daten sind möglicherweise nicht die neuesten Daten (Hauptgrund). 🎜Die Szenarien für Lesevorgänge auf Slave-Knoten sind sehr begrenzt. Das offizielle Handbuch nennt die anwendbaren Szenarien und mehrere Gründe, warum Lesevorgänge auf Slave-Knoten nicht empfohlen werden: http://docs.mongoing.com/manual-zh/core/re ...🎜🎜 Lassen Sie mich über meine eigene Meinung sprechen: Es gibt keine Replikatsätze, um die Leseleistung zu verbessern. Es wird nicht empfohlen, Lesevorgänge auf Slave-Knoten durchzuführen. Wenn Sie die Leseleistung verbessern möchten, verwenden Sie Indizes und Sharding. Wenn die Datengröße nicht groß ist, ist die Verwendung von Sharding übrigens nicht erforderlich. Unsere Online-Datenbank enthält fast 200 Millionen Einzelsammlungsdatensätze und die Leistung ist relativ gut (natürlich ist die Maschinenkonfiguration nicht schlecht, es werden nur ein Redis und ein MongoDB darauf ausgeführt). 🎜🎜🎜So stellen Sie einen Replikatsatz bereit🎜🎜🎜Bitte lesen Sie das Handbuch: http://docs.mongoing.com/manual-zh/tutoria... 🎜🎜🎜So verwenden Sie die automatische Failover-Funktion des MongoDB-Replikatsatzes das Programm🎜🎜 🎜Nehmen Sie den Mongo-Treiber von PHP als Beispiel. 🎜
journal = false
smallfiles = true
noprealloc = true
🎜Wenn nach dieser Konfiguration nur einer der MongoDB-Dienste auflegt, wählen die verbleibenden Knoten automatisch einen neuen Masterknoten und das Programm kann normal weiterlaufen. Während des Wahlvorgangs löst das Programm weiterhin Ausnahmen aus. Obwohl der Wahlvorgang schnell ist, muss für die Robustheit des Programms eine Ausnahmebehandlung berücksichtigt werden. Wenn kein neuer Masterknoten gewählt werden kann, ist natürlich die gesamte MongoDB nicht verfügbar. (Gemäß oben, wenn die Leseoption des Replikatsatzes als primaryPreferred konfiguriert ist. Wenn kein Primärknoten vorhanden ist, der Slave-Knoten jedoch weiterhin verfügbar ist, wird der Lesevorgang an den Slave übertragen Knoten, sodass der gesamte MongoDB-Replikatsatz auch Leseoperationsdienste bereitstellen kann) 🎜🎜Wenn der Replikatsatzname 'replicaSet' => 'rs0' angegeben ist, gilt dies auch dann, wenn alle Knoten vorhanden sind Adressen werden nicht aufgelistet, es wird nur eine gültige Knotenadresse geschrieben, der Mongo-Treiber ruft automatisch alle gültigen Knoten ab und die Methode $client->getHosts() kann die Adressen aller gültigen Knoten anzeigen. 🎜🎜Aber wenn Sie nur eine Knotenadresse eingeben und dieser Knoten zufällig ausgefallen ist, können Sie keine Verbindung herstellen. 🎜Alles, was ich empfehle, ist die Konfiguration einer vollständigen Liste der Knotenadressen🎜. 🎜🎜🎜Was ist das Prinzip der Synchronisierung? 🎜🎜🎜Nach dem Öffnen des Replikatsatzes wird ein Satz mit dem Namen oplog.rs unter der local-Bibliothek generiert begrenztes Set. Es ist nur so, dass die Größe festgelegt ist. Jeder Schreibvorgang in die Datenbank wird in dieser Sammlung aufgezeichnet. Die Knoten im Replikationssatz erreichen die Datensynchronisierung, indem sie das Oplog auf anderen Knoten lesen. 🎜

举个例子:
用客户端向主节点添加了 100 条记录,那么 oplog 中也会有这 100 条的 insert 记录。从节点通过获取主节点的 oplog,也执行这 100 条 oplog 记录。这样,从节点也就复制了主节点的数据,实现了同步。

需要说明的是:并不是从节点只能获取主节点的 oplog。

为了提高复制的效率,复制集中所有节点之间会互相进行心跳检测(通过ping)。每个节点都可以从任何其他节点上获取oplog。

还有,用一条语句批量删除 50 条记录,并不是在 oplog 中只记录一条数据,而是记录 50 条单条删除的记录。

oplog中的每一条操作,无论是执行一次还是多次执行,对数据集的影响结果是一样的,i.e 每条oplog中的操作都是幂等的。

什么情况下需要重新同步

在上一个问题中得知:oplog 大小是固定的,而且 oplog 里面的记录数不一定和节点中的数据量成正比。那么,新记录肯定会将前面的老记录给覆盖。

如果,有天一个从节点挂了,其他节点还在正常运行,继续有写操作,oplog 继续增长。而这个挂掉的节点一直不能从其他节点那里同步最新的 oplog 记录,当其他节点的 oplog 已经发生的覆盖。即使这个从节点后来恢复了正常,也不会和其他节点保持数据一致了。因为,覆盖的就永远回不来了。

那么,这个时候就得重新同步了。恩,回不去的就永远回不去了,再找个新的重新开始吧。(逃

如何重新同步

参见:复制集成员的重新同步

什么时候应该使用投票节点

当复制集中有偶数个节点时,应该再加一个投票节点,用于打破投票僵局。

比如:我线上共有3台服务器,其中1台是作为 Web 服务器;其余2台作为 DB 服务器,各部署了1个MongoDB节点,构成了2个节点的复制集。这个时候,我并没有多余的机器了。在这个情况下,如果任意一台 DB 服务器上的 MongoDB 挂了,那么另外一台的 MongoDB 必然变为 SECONDARY 节点,那么就意味着 MongoDB 是不可用的了。为了避免这种情况,提高服务的可用性,可以在 Web 服务器上部署一个投票节点。投票节点并不存储数据,因此不能升职为 PRIMARY 节点,它对于硬件资源要求很低,并不会对 Web 服务器上的其他程序产生太大影响。这种情况下,如果任意一台 DB 服务器挂了,另外一台服务器上的 MongoDB 将成为 PRIMARY 节点,此时 MongoDB 还是依旧对外提供服务的。乘此时机,赶紧排查出故障的那台服务器的原因,尽快恢复服务。

为了让投票节点可以占用更少的资源,可以在配置文件中添加以下几个配置项:

journal = false
smallfiles = true
noprealloc = true

主从复制

master-slave 复制架构已经不推荐使用了,建议使用 replica sets 复制集架构。
参见:http://docs.mongoing.com/manual-zh/core/ma...

Das obige ist der detaillierte Inhalt vonLassen Sie uns über verschiedene Probleme mit MongoDB-Replikatsätzen sprechen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme:
Dieser Artikel ist reproduziert unter:learnku.com. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen