本文内容遵从CC版权协议, 可以随意转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.penglixun.com/tech/database/mysql_multi_slave_same_serverid.html 今天分析一个诡异问题,一个模拟Slave线程的程序,不断的被Master Ser
本文内容遵从CC版权协议, 可以随意转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://www.penglixun.com/tech/database/mysql_multi_slave_same_serverid.html
今天分析一个诡异问题,一个模拟Slave线程的程序,不断的被Master Server给kill掉,最终发现是因为有两个Slave使用同样一个server id去连接Master Server,为什么两个Slave用同一个server id会被Master Server给Kill呢?分析了源码,这源于MySQL Replication的重连机制。
我们首先看看一个Slave注册到Master会发生什么,首先Slave需要向Master发送一个COM_REGISTER_SLAVE类型的请求(sql_parse.cc)命令请求,这里Master会使用register_slave函数注册一个Slave到slave_list。
<span style="color: #0000ff;">case</span> COM_REGISTER_SLAVE<span style="color: #008080;">:</span> <span style="color: #008000;">{</span> <span style="color: #0000ff;">if</span> <span style="color: #008000;">(</span><span style="color: #000040;">!</span>register_slave<span style="color: #008000;">(</span>thd, <span style="color: #008000;">(</span>uchar<span style="color: #000040;">*</span><span style="color: #008000;">)</span>packet, packet_length<span style="color: #008000;">)</span><span style="color: #008000;">)</span> my_ok<span style="color: #008000;">(</span>thd<span style="color: #008000;">)</span><span style="color: #008080;">;</span> <span style="color: #0000ff;">break</span><span style="color: #008080;">;</span> <span style="color: #008000;">}</span>
在注册Slave线程的时候会发生什么呢?我们略去无用的代码直接看重点:(repl_failsafe.cc)
<span style="color: #0000ff;">int</span> register_slave<span style="color: #008000;">(</span>THD<span style="color: #000040;">*</span> thd, uchar<span style="color: #000040;">*</span> packet, uint packet_length<span style="color: #008000;">)</span> <span style="color: #008000;">{</span> <span style="color: #0000ff;">int</span> res<span style="color: #008080;">;</span> SLAVE_INFO <span style="color: #000040;">*</span>si<span style="color: #008080;">;</span> uchar <span style="color: #000040;">*</span>p<span style="color: #000080;">=</span> packet, <span style="color: #000040;">*</span>p_end<span style="color: #000080;">=</span> packet <span style="color: #000040;">+</span> packet_length<span style="color: #008080;">;</span> .... <span style="color: #666666;">//省略</span> <span style="color: #0000ff;">if</span> <span style="color: #008000;">(</span><span style="color: #000040;">!</span><span style="color: #008000;">(</span>si<span style="color: #000040;">-</span><span style="color: #000080;">></span>master_id<span style="color: #000080;">=</span> uint4korr<span style="color: #008000;">(</span>p<span style="color: #008000;">)</span><span style="color: #008000;">)</span><span style="color: #008000;">)</span> si<span style="color: #000040;">-</span><span style="color: #000080;">></span>master_id<span style="color: #000080;">=</span> server_id<span style="color: #008080;">;</span> si<span style="color: #000040;">-</span><span style="color: #000080;">></span>thd<span style="color: #000080;">=</span> thd<span style="color: #008080;">;</span> pthread_mutex_lock<span style="color: #008000;">(</span><span style="color: #000040;">&</span>LOCK_slave_list<span style="color: #008000;">)</span><span style="color: #008080;">;</span> unregister_slave<span style="color: #008000;">(</span>thd,<span style="color: #0000dd;">0</span>,<span style="color: #0000dd;">0</span><span style="color: #008000;">)</span><span style="color: #008080;">;</span> <span style="color: #666666;">//关键在这里,先取消注册server_id相同的Slave线程</span> res<span style="color: #000080;">=</span> my_hash_insert<span style="color: #008000;">(</span><span style="color: #000040;">&</span>slave_list, <span style="color: #008000;">(</span>uchar<span style="color: #000040;">*</span><span style="color: #008000;">)</span> si<span style="color: #008000;">)</span><span style="color: #008080;">;</span> <span style="color: #666666;">//把新的Slave线程注册到slave_list</span> pthread_mutex_unlock<span style="color: #008000;">(</span><span style="color: #000040;">&</span>LOCK_slave_list<span style="color: #008000;">)</span><span style="color: #008080;">;</span> <span style="color: #0000ff;">return</span> res<span style="color: #008080;">;</span> ..... <span style="color: #008000;">}</span>
这是什么意思呢?这就是重连机制,slave_list是一个Hash表,server_id是Key,每一个线程注册上来,需要删掉同样server_id的Slave线程,再把新的Slave线程加到slave_list表中。
线程注册上来后,请求Binlog,发送COM_BINLOG_DUMP请求,Master会发送binlog给Slave,代码如下:
<span style="color: #0000ff;">case</span> COM_BINLOG_DUMP<span style="color: #008080;">:</span> <span style="color: #008000;">{</span> ulong pos<span style="color: #008080;">;</span> ushort flags<span style="color: #008080;">;</span> uint32 slave_server_id<span style="color: #008080;">;</span> status_var_increment<span style="color: #008000;">(</span>thd<span style="color: #000040;">-</span><span style="color: #000080;">></span>status_var.<span style="color: #007788;">com_other</span><span style="color: #008000;">)</span><span style="color: #008080;">;</span> thd<span style="color: #000040;">-</span><span style="color: #000080;">></span>enable_slow_log<span style="color: #000080;">=</span> opt_log_slow_admin_statements<span style="color: #008080;">;</span> <span style="color: #0000ff;">if</span> <span style="color: #008000;">(</span>check_global_access<span style="color: #008000;">(</span>thd, REPL_SLAVE_ACL<span style="color: #008000;">)</span><span style="color: #008000;">)</span> <span style="color: #0000ff;">break</span><span style="color: #008080;">;</span> <span style="color: #ff0000; font-style: italic;">/* TODO: The following has to be changed to an 8 byte integer */</span> pos <span style="color: #000080;">=</span> uint4korr<span style="color: #008000;">(</span>packet<span style="color: #008000;">)</span><span style="color: #008080;">;</span> flags <span style="color: #000080;">=</span> uint2korr<span style="color: #008000;">(</span>packet <span style="color: #000040;">+</span> <span style="color: #0000dd;">4</span><span style="color: #008000;">)</span><span style="color: #008080;">;</span> thd<span style="color: #000040;">-</span><span style="color: #000080;">></span>server_id<span style="color: #000080;">=</span><span style="color: #0000dd;">0</span><span style="color: #008080;">;</span> <span style="color: #ff0000; font-style: italic;">/* avoid suicide */</span> <span style="color: #0000ff;">if</span> <span style="color: #008000;">(</span><span style="color: #008000;">(</span>slave_server_id<span style="color: #000080;">=</span> uint4korr<span style="color: #008000;">(</span>packet<span style="color: #000040;">+</span><span style="color: #0000dd;">6</span><span style="color: #008000;">)</span><span style="color: #008000;">)</span><span style="color: #008000;">)</span> <span style="color: #666666;">// mysqlbinlog.server_id==0</span> kill_zombie_dump_threads<span style="color: #008000;">(</span>slave_server_id<span style="color: #008000;">)</span><span style="color: #008080;">;</span> thd<span style="color: #000040;">-</span><span style="color: #000080;">></span>server_id <span style="color: #000080;">=</span> slave_server_id<span style="color: #008080;">;</span> general_log_print<span style="color: #008000;">(</span>thd, command, <span style="color: #FF0000;">"Log: '%s' Pos: %ld"</span>, packet<span style="color: #000040;">+</span><span style="color: #0000dd;">10</span>, <span style="color: #008000;">(</span><span style="color: #0000ff;">long</span><span style="color: #008000;">)</span> pos<span style="color: #008000;">)</span><span style="color: #008080;">;</span> mysql_binlog_send<span style="color: #008000;">(</span>thd, thd<span style="color: #000040;">-</span><span style="color: #000080;">></span>strdup<span style="color: #008000;">(</span>packet <span style="color: #000040;">+</span> <span style="color: #0000dd;">10</span><span style="color: #008000;">)</span>, <span style="color: #008000;">(</span>my_off_t<span style="color: #008000;">)</span> pos, flags<span style="color: #008000;">)</span><span style="color: #008080;">;</span> <span style="color: #666666;">//不断的发送日志给slave端</span> unregister_slave<span style="color: #008000;">(</span>thd,<span style="color: #0000dd;">1</span>,<span style="color: #0000dd;">1</span><span style="color: #008000;">)</span><span style="color: #008080;">;</span> <span style="color: #666666;">//发送完成后清理Slave线程,因为执行到这一步肯定是binlog dump线程被kill了</span> <span style="color: #ff0000; font-style: italic;">/* fake COM_QUIT -- if we get here, the thread needs to terminate */</span> error <span style="color: #000080;">=</span> TRUE<span style="color: #008080;">;</span> <span style="color: #0000ff;">break</span><span style="color: #008080;">;</span> <span style="color: #008000;">}</span>
mysql_binlog_send函数在sql_repl.cc,里面是轮询Master binlog,发送给Slave。
再来简单看看unregister_slave做了什么(repl_failsafe.cc):
<span style="color: #0000ff;">void</span> unregister_slave<span style="color: #008000;">(</span>THD<span style="color: #000040;">*</span> thd, <span style="color: #0000ff;">bool</span> only_mine, <span style="color: #0000ff;">bool</span> need_mutex<span style="color: #008000;">)</span> <span style="color: #008000;">{</span> <span style="color: #0000ff;">if</span> <span style="color: #008000;">(</span>thd<span style="color: #000040;">-</span><span style="color: #000080;">></span>server_id<span style="color: #008000;">)</span> <span style="color: #008000;">{</span> <span style="color: #0000ff;">if</span> <span style="color: #008000;">(</span>need_mutex<span style="color: #008000;">)</span> pthread_mutex_lock<span style="color: #008000;">(</span><span style="color: #000040;">&</span>LOCK_slave_list<span style="color: #008000;">)</span><span style="color: #008080;">;</span> SLAVE_INFO<span style="color: #000040;">*</span> old_si<span style="color: #008080;">;</span> <span style="color: #0000ff;">if</span> <span style="color: #008000;">(</span><span style="color: #008000;">(</span>old_si <span style="color: #000080;">=</span> <span style="color: #008000;">(</span>SLAVE_INFO<span style="color: #000040;">*</span><span style="color: #008000;">)</span>hash_search<span style="color: #008000;">(</span><span style="color: #000040;">&</span>slave_list, <span style="color: #008000;">(</span>uchar<span style="color: #000040;">*</span><span style="color: #008000;">)</span><span style="color: #000040;">&</span>thd<span style="color: #000040;">-</span><span style="color: #000080;">></span>server_id, <span style="color: #0000dd;">4</span><span style="color: #008000;">)</span><span style="color: #008000;">)</span> <span style="color: #000040;">&&</span> <span style="color: #008000;">(</span><span style="color: #000040;">!</span>only_mine <span style="color: #000040;">||</span> old_si<span style="color: #000040;">-</span><span style="color: #000080;">></span>thd <span style="color: #000080;">==</span> thd<span style="color: #008000;">)</span><span style="color: #008000;">)</span> <span style="color: #666666;">//拿到slave值</span> hash_delete<span style="color: #008000;">(</span><span style="color: #000040;">&</span>slave_list, <span style="color: #008000;">(</span>uchar<span style="color: #000040;">*</span><span style="color: #008000;">)</span>old_si<span style="color: #008000;">)</span><span style="color: #008080;">;</span> <span style="color: #666666;">//从slave_list中拿掉</span> <span style="color: #0000ff;">if</span> <span style="color: #008000;">(</span>need_mutex<span style="color: #008000;">)</span> pthread_mutex_unlock<span style="color: #008000;">(</span><span style="color: #000040;">&</span>LOCK_slave_list<span style="color: #008000;">)</span><span style="color: #008080;">;</span> <span style="color: #008000;">}</span> <span style="color: #008000;">}</span>
这就可以解释同样的server_id为什么会被kill,因为一旦注册上去,就会现删除相同server_id的Slave线程,然后把当前的Slave加入,这是因为有时Slave断开了,重新请求上来,当然需要踢掉原来的线程,这就是线程重连机制。
切记,一个MySQL集群中,绝不可以出现相同server_id的实例,否则各种诡异的问题可是接踵而来。

MySQLとSQLiteの主な違いは、設計コンセプトと使用法のシナリオです。1。MySQLは、大規模なアプリケーションとエンタープライズレベルのソリューションに適しており、高性能と高い並行性をサポートしています。 2。SQLiteは、モバイルアプリケーションとデスクトップソフトウェアに適しており、軽量で埋め込みやすいです。

MySQLのインデックスは、データの取得をスピードアップするために使用されるデータベーステーブル内の1つ以上の列の順序付けられた構造です。 1)インデックスは、スキャンされたデータの量を減らすことにより、クエリ速度を改善します。 2)B-Tree Indexは、バランスの取れたツリー構造を使用します。これは、範囲クエリとソートに適しています。 3)CreateIndexステートメントを使用して、createIndexidx_customer_idonorders(customer_id)などのインデックスを作成します。 4)Composite Indexesは、createIndexIDX_CUSTOMER_ORDERONORDERS(Customer_Id、Order_date)などのマルチコラムクエリを最適化できます。 5)説明を使用してクエリ計画を分析し、回避します

MySQLでトランザクションを使用すると、データの一貫性が保証されます。 1)StartTransactionを介してトランザクションを開始し、SQL操作を実行して、コミットまたはロールバックで送信します。 2)SavePointを使用してSave Pointを設定して、部分的なロールバックを許可します。 3)パフォーマンスの最適化の提案には、トランザクション時間の短縮、大規模なクエリの回避、分離レベルの使用が合理的に含まれます。

MySQLの代わりにPostgreSQLが選択されるシナリオには、1)複雑なクエリと高度なSQL関数、2)厳格なデータの整合性と酸コンプライアンス、3)高度な空間関数が必要、4)大規模なデータセットを処理するときに高いパフォーマンスが必要です。 PostgreSQLは、これらの側面でうまく機能し、複雑なデータ処理と高いデータの整合性を必要とするプロジェクトに適しています。

MySQLデータベースのセキュリティは、以下の測定を通じて達成できます。1。ユーザー許可管理:CreateUSERおよびGrantコマンドを通じてアクセス権を厳密に制御します。 2。暗号化された送信:SSL/TLSを構成して、データ送信セキュリティを確保します。 3.データベースのバックアップとリカバリ:MySQLDUMPまたはMySQLPumpを使用して、定期的にデータをバックアップします。 4.高度なセキュリティポリシー:ファイアウォールを使用してアクセスを制限し、監査ロギング操作を有効にします。 5。パフォーマンスの最適化とベストプラクティス:インデックス作成とクエリの最適化と定期的なメンテナンスを通じて、安全性とパフォーマンスの両方を考慮に入れます。

MySQLのパフォーマンスを効果的に監視する方法は? MySqladmin、ShowGlobalStatus、PerconAmonitoring and Management(PMM)、MySQL EnterpriseMonitorなどのツールを使用します。 1. mysqladminを使用して、接続の数を表示します。 2。showglobalstatusを使用して、クエリ番号を表示します。 3.PMMは、詳細なパフォーマンスデータとグラフィカルインターフェイスを提供します。 4.mysqlenterprisemonitorは、豊富な監視機能とアラームメカニズムを提供します。

MySQLとSQLServerの違いは次のとおりです。1)MySQLはオープンソースであり、Webおよび埋め込みシステムに適しています。2)SQLServerはMicrosoftの商用製品であり、エンタープライズレベルのアプリケーションに適しています。ストレージエンジン、パフォーマンスの最適化、アプリケーションシナリオの2つには大きな違いがあります。選択するときは、プロジェクトのサイズと将来のスケーラビリティを考慮する必要があります。

高可用性、高度なセキュリティ、優れた統合を必要とするエンタープライズレベルのアプリケーションシナリオでは、MySQLの代わりにSQLServerを選択する必要があります。 1)SQLServerは、高可用性や高度なセキュリティなどのエンタープライズレベルの機能を提供します。 2)VisualStudioやPowerbiなどのMicrosoftエコシステムと密接に統合されています。 3)SQLSERVERは、パフォーマンスの最適化に優れた機能を果たし、メモリが最適化されたテーブルと列ストレージインデックスをサポートします。


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

VSCode Windows 64 ビットのダウンロード
Microsoft によって発売された無料で強力な IDE エディター

ZendStudio 13.5.1 Mac
強力な PHP 統合開発環境

MantisBT
Mantis は、製品の欠陥追跡を支援するために設計された、導入が簡単な Web ベースの欠陥追跡ツールです。 PHP、MySQL、Web サーバーが必要です。デモおよびホスティング サービスをチェックしてください。

メモ帳++7.3.1
使いやすく無料のコードエディター

mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

ホットトピック









