mysql 샤딩, 파티셔닝, 데이터베이스 및 테이블

시스템 성능의 병목 현상을 방지하기 위해 데이터베이스의 데이터 볼륨이 특정 수준에 도달한 후. 데이터는 파티셔닝, 샤딩, 데이터베이스, 테이블을 통해 처리되어야 합니다.

추천 과정: MySQL 튜토리얼.

샤딩(샤딩과 유사)

샤딩은 데이터베이스를 여러 물리적 노드로 확장하는 효과적인 방법입니다. 샤딩의 주요 목적은 단일 노드 데이터베이스 서버 I/O 용량 제한을 해결하는 것입니다. 데이터베이스 확장성 문제. 샤드(shard)라는 단어는 "조각"을 의미합니다. 데이터베이스를 큰 유리 조각으로 취급하고 유리가 깨진 경우 각 작은 조각을 데이터베이스 조각(데이터베이스 샤드)이라고 합니다. 전체 데이터베이스를 조각으로 나누는 프로세스를 샤딩이라고 하며 이는 샤딩으로 번역될 수 있습니다.

공식적으로 샤딩은 여러 물리적 노드에 대규모 데이터베이스를 배포하는 파티셔닝 방식으로 간단히 정의할 수 있습니다. 각 파티션에는 슬라이스라고 하는 데이터베이스의 특정 부분이 포함되어 있습니다. 파티셔닝 방법은 임의적일 수 있으며 기존의 수평 및 수직 파티셔닝에 국한되지 않습니다. 샤드는 여러 테이블의 내용이나 심지어 여러 데이터베이스 인스턴스를 포함할 수 있습니다. 각 샤드는 데이터베이스 서버에 배치됩니다. 데이터베이스 서버는 하나 이상의 데이터 샤드를 처리할 수 있습니다. 쿼리 라우팅 및 전달을 위해 시스템에 서버가 필요하며 쿼리 실행을 위해 액세스하는 데이터가 포함된 샤드 또는 샤드 수집 노드로 쿼리를 전달하는 역할을 담당합니다.

Scale Out/Scale Up 및 수직 분할/수평 분할

Mysql의 확장 계획에는 Scale Out 및 Scale Up이 포함됩니다.

Scale Out(수평 확장)은 애플리케이션을 수평 방향으로 확장할 수 있다는 의미입니다. 일반적으로 데이터 센터 애플리케이션의 경우 스케일 아웃은 더 많은 머신이 추가되더라도 애플리케이션이 여전히 이러한 머신의 리소스를 잘 활용하여 자체 효율성을 향상하고 우수한 확장성을 달성할 수 있음을 의미합니다.

Scale Up(수직 확장)은 애플리케이션이 수직 방향으로 확장될 수 있음을 의미합니다. 일반적으로 단일 머신의 경우 Scale Up의 가치는 컴퓨팅 노드(머신)가 더 많은 CPU 코어, 저장 장치를 추가하고 더 큰 메모리를 사용할 때 애플리케이션이 이러한 리소스를 최대한 활용하여 효율성을 향상시킬 수 있다는 것입니다. 좋은 확장성을 달성합니다.

MySql의 샤딩 전략에는 수직 샤딩과 수평 샤딩이 포함됩니다.

수직(vertical) 분할: 테이블 간 IO 경쟁을 해결하기 위해 기능 모듈별로 분할하는 것을 말합니다. 예를 들어 주문 데이터베이스, 상품 데이터베이스, 사용자 데이터베이스 등으로 나누어진다. 이처럼 여러 데이터베이스의 테이블 구조는 서로 다르다.

수평(수평) 분할: 동일한 테이블의 데이터를 블록으로 저장하고 다른 데이터베이스에 저장하여 단일 테이블의 데이터 양 증가에 대한 부담을 해결합니다. 이러한 데이터베이스의 테이블 구조는 완전히 동일합니다.

테이블 구조 디자인은 세로로 나누어져 있습니다. 몇 가지 일반적인 시나리오에는

a)가 포함됩니다. 기본 테이블의 액세스 성능을 향상시키기 위해 다른 테이블에 큰 필드를 별도로 구축합니다. 원칙적으로 성능이 중요한 애플리케이션에서는 데이터베이스의 큰 필드를 피해야 합니다.

b) 용도에 따라 수직으로 분할합니다. 예를 들어 기업의 자재 속성은 기본 속성, 판매 속성, 구매 속성, 제조 속성, 재무 회계 속성 등에 따라 수직으로 분할될 수 있습니다.

c). 예를 들어 전자상거래나 Web 2.0 시스템에서 사용자 속성 설정이 많으면 기본, 자주 사용하는 속성과 자주 사용하지 않는 속성을 수직으로 분리하고, 테이블 구조 디자인을 수평으로 분리할 수 있다. 일반적인 시나리오로는

a) 예를 들어 온라인 전자 상거래 웹사이트의 경우 주문 테이블 데이터의 양이 너무 많아 연간 및 월별 수준으로 나누어져 있습니다.

b). 등록된 사용자와 온라인 활성 사용자가 너무 많으며 사용자 ID에 따라 데이터가 구분됩니다. 범위 및 기타 방법으로 해당 사용자와 사용자와 밀접하게 관련된 테이블을 수평으로 분할합니다. 예를 들어 포럼의 상단 게시물입니다. 이 경우 고정된 게시물을 가져올 때 모든 게시물의 테이블에서 읽지 않도록 상단 게시물을 가로로 분할할 수 있습니다.

하위 테이블 및 파티션

하위 테이블은 표면적으로 테이블을 여러 개의 작은 테이블로 나누는 것을 의미하고, 파티셔닝은 테이블을 여러 개의 작은 테이블로 나누는 것을 의미합니다. 이러한 블록은 동일한 디스크에 있을 수도 있고 다른 디스크에 있을 수도 있습니다.

분할 테이블과 파티션의 차이점

1. 구현 방식에 있어서

mysql의 분할 테이블은 하나의 테이블을 여러 테이블로 나눈 후 각각의 작은 테이블이 3개의 파일에 해당합니다. (MyISAM 엔진: .MYD 데이터 파일, .MYI 인덱스 파일, .frm 테이블 구조 파일).

2. 데이터 처리 측면에서

데이터는 테이블로 분할된 후 하위 테이블에 저장되며, 데이터 액세스는 각 하위 테이블에서 발생합니다. 파티셔닝에는 테이블 파티셔닝이라는 개념이 없습니다. 파티셔닝은 데이터를 저장하는 파일을 여러 개의 작은 블록으로 나누는 것뿐입니다. 파티셔닝된 테이블은 여전히 ​​하나의 테이블이며, 데이터 처리는 여전히 스스로 완료됩니다.

3. 성능 향상 측면에서는

테이블 분할 후 단일 테이블의 동시성 성능이 향상되었으며, 디스크 I/O 성능도 향상되었습니다. 파티션이 디스크 I/O 병목 현상을 해결하고 디스크의 읽기 및 쓰기 기능을 개선하여 mysql 성능을 높이고 싶습니다.

이 시점에서 파티션과 하위 테이블의 테스트 초점은 데이터와 파티션에 액세스할 때 mysql 동시성을 향상시키는 방법, 디스크의 읽기 및 쓰기 기능을 돌파하는 방법입니다. mysql 성능 향상의 목적을 달성하기 위해.

4. 구현의 어려움 측면에서 테이블을 나누는 방법은 여러 가지가 있지만 병합을 사용하여 테이블을 나누는 것이 가장 간단한 방법입니다. 이 방법은 분할만큼 쉬우며 프로그램 코드에 투명할 수 있습니다. 다른 테이블 파티셔닝 방법을 사용하면 파티셔닝보다 더 번거롭습니다. 분할 구현은 비교적 간단합니다. 분할된 테이블을 만드는 것은 일반 테이블을 만드는 것과 다르지 않으며 코드 측면에서 투명합니다.

파티셔닝에 적용 가능한 시나리오

1. 테이블의 쿼리 속도가 사용에 영향을 미칠 만큼 느립니다.

2. 테이블의 데이터는 분할되어 있습니다

3. 데이터에 대한 작업은 전체 데이터가 아닌 데이터의 일부만 포함하는 경우가 많습니다.

CREATE TABLE sales (

    id INT AUTO_INCREMENT,

    amount DOUBLE NOT NULL,

    order_day DATETIME NOT NULL,

    PRIMARY KEY(id, order_day)

) ENGINE=Innodb

PARTITION BY RANGE(YEAR(order_day)) (

    PARTITION p_2010 VALUES LESS THAN (2010),

    PARTITION p_2011 VALUES LESS THAN (2011),

    PARTITION p_2012 VALUES LESS THAN (2012),

PARTITION p_catchall VALUES LESS THAN MAXVALUE);

분할 테이블에 적용할 수 있는 시나리오

1. 사용에 영향을 미치기에 충분합니다.

2. 자주 삽입하거나 공동 쿼리를 수행하면 속도가 느려집니다.

하위 테이블 구현에는 비즈니스 구현과 마이그레이션의 조합이 필요하며 이는 상대적으로 복잡합니다.

샤딩 및 샤딩

샤딩은 단일 테이블의 과도한 데이터 볼륨으로 인한 쿼리 효율성 감소 문제를 해결할 수 있지만 데이터베이스의 동시 처리 성능의 질적 향상을 가져올 수는 없습니다. 동시 읽기 및 쓰기 액세스가 많은 상황에서 데이터베이스 마스터 서버가 쓰기 작업의 부담을 감당할 수 없으면 슬레이브 서버를 어떻게 확장해도 의미가 없습니다. 그러므로 우리는 데이터베이스 쓰기 능력을 향상시키기 위해 생각을 바꾸고 데이터베이스를 분할해야 합니다. 이것이 소위 하위 데이터베이스입니다.

테이블 샤딩 전략과 유사하게 샤딩은 모듈로 키워드를 사용하여 데이터 액세스를 라우팅할 수 있습니다.

위 내용은 mysql 샤딩, 파티셔닝, 데이터베이스 및 테이블의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!