MySQL 분산 클러스터 MyCAT(1) 간략한 소개

오랜만에 블로그 업데이트가 생각나서 최근에 데이터베이스를 Oracle에서 MySQL로 변경했는데, 한동안 공부해본 결과 MySQL의 커뮤니티 버전이 전체적으로 Oracle보다 열등하다는 것을 느꼈습니다. 측면에서는 오라클이 정말 편리합니다.
알겠습니다. 이번에는 MySQL 분산 클러스터인 MyCAT 구축에 대해 기록해 보겠습니다. MySQL 에이전트로 이해합니다.
---------------------------------- --- ----중요 TIP--------- -- --------------
MyCAT 팀에서는 많은 버그를 수정하고 새로운 기능을 추가한 버전 1.4Alpha를 출시했습니다.
블로거는 버전 1.3을 테스트에 사용했기 때문에 최신 버전으로 테스트한 결과가 일치하지 않을 수 있습니다!

------------------------- --- -------------배경 소개------------- ------------------------------------- ---

MyCAT의 배경 소개는 그냥 건너뛰어도 소용없습니다. 물론 JAVA에서 개발한 내용이니 이해가 필요합니다~.

------------------------------- ------ ------------MyCAT의 전신---------- -------------- ---------- --------------
MyCAT의 전신은 알리바바는 2012년 6월 19일 데이터베이스 미들웨어인 Cobar를 공식 오픈소스화했다. . Amoeba의 안정성, 성능, 기능적 지원 등을 고려하여 프로젝트 팀을 재구축하고 대체한 이름이 Cobar입니다. 코바는 Alibaba의 오픈 소스 MySQL 분산 처리 미들웨어는 기존 데이터베이스와 마찬가지로 분산 환경에서 대규모 데이터 서비스를 제공할 수 있습니다.

코바는 탄생부터 프로그래머들의 뜨거운 관심을 받았으나 2013년 이후로는 후속 업데이트가 거의 없었다. 이러한 상황에서 MyCAT은 Alibaba의 오픈 소스 Cobar 제품을 기반으로 개발되었으며 Cobar의 많은 성숙한 사용 사례가 좋은 출발점이었습니다. , 거인의 어깨 위에 서서 MyCAT은 더 멀리 볼 수 있습니다.

-------------------------------- ---------------MyCAT의 주요 기능------------ --- ---------------------------------- --- ---
SQL 92 표준을 지원합니다.
MySQL 클러스터를 지원하고 프록시로 사용할 수 있습니다.
지원 ORACLE 및 DB2, SQL Server에 대한 JDBC 연결, MySQL 서버로 시뮬레이션
mysql 클러스터, percona-cluster 또는 mariadb 클러스터용 galera를 지원하여 고가용성 데이터 샤딩 클러스터 제공
자동 장애 조치, 고가용성
은 읽기-쓰기 분리를 지원하고 MySQL 이중 마스터와 다중 슬레이브, 하나의 마스터와 다중 슬레이브 모드를 지원합니다.
글로벌 테이블을 지원하며 효율적인 테이블 상관 쿼리를 위해 데이터가 여러 노드로 자동 분할됩니다.
E-R 관계를 기반으로 하는 고유한 샤딩 전략을 지원하여 효율적인 테이블 상관 쿼리를 실현합니다. >다중 플랫폼 지원, 간단한 배포 및 구현.

------------------------- --- -----------------------MyCAT의 아키텍처
---------------- -- ------------------------------------------------ --
일반적으로 세 부분으로 나누어진다. 프런트 엔드는 커넥터이며 스레드 관리는 기본적으로 AIO를 사용한다. 시작 로그에서) ;
SQL Executor의 존재를 느껴보세요. SQL에 더 가까운 느낌입니다. 프로세스 항목, DataNode 및 하트비트 감지는 중간 계층
에 의해 구현되는 두 가지 구성 요소입니다. 하나는 MySQL 라이브러리와 관련되어 있고(인스턴스 아님), 다른 하나는 공통 모니터링입니다. 메커니즘. 기능 모듈; 최하위 저장소는 MySQ의 클러스터입니다L~ MySQL 클러스터를 어떻게 사용하는지는 우리에게 달려있습니다╰(?? ▽ ??)╯
.

------------------------------- ------ -----MyCAT 사용법---------------- ------- --------
MyCAT은 현재 논리적 라이브러리 및 관련 구성을 정의하는 구성 파일 방법을 통해 구성되며 주로 세 가지 파일을 포함합니다.
MYCAT_HOME/conf/schema.xml은 논리적 라이브러리, 테이블, 샤드 노드 및 기타 콘텐츠를 정의합니다.
MYCAT_HOME/conf/rule.xml에서 샤딩 규칙을 정의하고, MYCAT_HOME/conf/server.xml에서 포트 등의 사용자 및 시스템 관련 변수를 정의합니다. .

걱정하지 마십시오. 이 문서에서는 이러한 구성 파일의 기능과 일부 매개 변수의 의미를 간략하게 소개합니다.
하나씩 살펴보시죠. 먼저 인터넷에서 추출한 샘플 템플릿인
schema.xml을 살펴보세요    

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">
    <schema name="weixin" checkSQLschema="false" sqlMaxLimit="100" dataNode="weixin" >
        
    
    <schema name="yixin" checkSQLschema="false" sqlMaxLimit="100" dataNode="yixin" />
        
    
    <dataNode name="dn1" dataHost="localhost0" database="weixin" />
    <dataNode name="dn2" dataHost="localhost0" database="yixin" />
    <dataHost name="localhost0" maxCon="450" minCon="10" balance="1"
       writeType="0" dbType="mysql" dbDriver="native">
       <heartbeat>select user()</heartbeat>
       <!-- can have multi write hosts -->
       <writeHost host="hostM1" url="localhost:3306" user="root" password="123456" />
           <readHost host="hostS1" url="localhost:3307" user="test" password="123456" />
    </dataHost>
</mycat:schema>

1. 첫 번째는 스키마 이름 = "weixin

", 이 구성의 효과는 MySQL 클라이언트가 Show DATABASE 명령을 통해 MyCAT에 연결할 때 데이터베이스 이름 을 볼 수 있다는 것입니다. 예를 들어 이 구성 파일에서 , 두 개의 데이터베이스 weixin 및 yixin이 구성되어 있으며 각각에는 사용자 테이블이 포함되어 있습니다.
참고: MyCAT이 외부에 표시하는 데이터베이스와 데이터베이스에 포함된 테이블은 모두 스키마로 구성됩니다. 뒤에 존재하더라도 여기에 작성된 테이블이나 라이브러리는 없습니다. - MySQL을 종료하면 MyCAT을 통해 액세스할 수 없지만 MyCAT은 특정 테이블의 구조를 정의하지 않습니다.
그런 다음 데이터 노드가 옵니다. 이 속성은 스키마 테이블과 해당 테이블이 저장되는 데이터베이스를 지정합니다. 예를 들어 이 구성에서는 dn1의 데이터 노드가 localhost0에 위치하도록 지정됩니다. 이 데이터베이스 인스턴스의 이름은 weixi
n 데이터베이스이며 dn2에도 동일하게 적용됩니다. datahost는 실제 백엔드 MySQL 클러스터의 특정 정보를 나열합니다. writehost는 데이터 쓰기를 담당하는 MySQL 인스턴스이고, writehost는 읽기를 담당하는 MySQL 인스턴스입니다. 즉, 백엔드가 단일 인스턴스를 사용한다는 의미입니다. 서로 다른 인스턴스로 구성된 경우 두 인스턴스 간에 마스터-슬레이브 동기화를 구성한 다음 MyCAT를 사용하여 읽기-쓰기 분리를 달성합니다
데이터베이스에 수직 분할은 주로schema.xml을 통해 이루어지며 이에 대해서는 나중에 자세히 소개하겠습니다.
rule.xml 예시

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://org.opencloudb/"> 
 <tableRule name="rule">
    <rule>
      <columns>user_id</columns>
      <algorithm>func1</algorithm>
    </rule>
 </tableRule>
 <function name="func1" class="org.opencloudb.route.function.PartitionByLong">
    <property name="partitionCount">2</property>
    <property name="partitionLength">512</property>
 </function>
</mycat:rule>

1.                                                                            rule.xml의 구성은 주로 테이블의 수평 분할에 사용됩니다. 이 예에서는 다양한 수평 분할 전략을 제공합니다. user_id 모듈로 1024로 총 4개의 조각으로 나누어진 후 두 조각으로 나누어지는 ulo 샤딩, 각 조각에는 512가 있습니다.

기타 세분화 전략은 추후 자세히 소개

server.xml 예시

<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://org.opencloudb/">
    <system>
        <property name="sequnceHandlerType">0</property> 
    </system>
    <user name="test">
       <property name="password">test</property>
       <property name="schemas">weixin，yixin</property>
    </user>
</mycat:server>

server.xml里面配置MyCAT的逻辑库参数，如示例，配置的就是逻辑库weixin和yixin的登录用户名和密码
这个XML里面其实还有一些有关于MyCAT性能调整的参数，不过略去了，东西太多，以后再详细介绍

----------------------------------------------------------------------华丽的分割线-------------------------------------------------------------

简单的MyCAT搭建大致上就包括这些内容，现在讲讲使用一段时间以后，对MyCAT的一些总结；
1.MyCAT的性能表现还是不错的，这几天一直对MyCAT的各方面进行测试，发现MyCAT作为一个代理，虽然是在JAVA虚拟机上面运行，但是面对接近9K的QPS的峰值的时候，本身并没有出现无响应或者丢失连接的问题；
2.MyCAT对前端显示的所有的库，表，全部由schema来配置，但是本身不定义表结构，这使得后端的表结构如果出现不一致，MyCAT前端是察觉不到的，不太方便吧；
3.第二点的不方便，也反映了一点，没有配置到schema的表，完全无法通过MyCAT去操作，这也算是安全性良好的一个表现吧；
4.之前说SQL Executor没感觉到，也是因为在一些测试中，发现MyCAT更像一个提供转发和结果合并功能的代理，只是对SQL和结果进行了process，不过这个需要去看源代码才知晓细节了。

위 내용은 MySQL 분산 클러스터 MyCAT(1) 간략한 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!