MySQL에서 Redis로 실시간으로 데이터를 이동하는 방법

개요

Redis는 높은 성능과 유연성으로 잘 알려진 오픈 소스, 인 메모리, 비관계형 데이터 저장소입니다. 실시간 분석, 애플리케이션 캐시, 세션 관리 등 다양한 경우에 널리 사용됩니다. 따라서 데이터를 Redis에 통합하는 것이 중요합니다.

이 튜토리얼에서는 다음 기능을 포함하여 BladePipe를 사용하여 MySQL에서 Redis로 데이터를 이동하는 방법을 자세히 설명합니다.

• 단일 노드 Redis 인스턴스, 마스터/대기 Redis 인스턴스 및 샤딩된 클러스터 인스턴스를 지원합니다.
• Redis 인스턴스에 데이터를 쓸 때 캐시 만료 시간 설정을 허용합니다.

블레이드파이프 소개

BladePipe는 데이터베이스, 메시지 큐, 실시간 데이터 웨어하우스 등 다양한 데이터 소스 간의 데이터 이동을 단순화하는 실시간 엔드투엔드 데이터 복제 도구입니다.

BladePipe는 변경 데이터 캡처(CDC) 기술을 사용하여 매우 짧은 대기 시간으로 데이터 변경 사항을 자동으로 정확하게 추적, 캡처 및 전달할 수 있어 데이터 통합 ​​효율성을 크게 향상시킵니다. 실시간 데이터 복제가 필요한 사용 사례에 적합한 솔루션을 제공하여 데이터 중심 의사 결정 및 비즈니스 민첩성을 촉진합니다.

하이라이트

샤딩된 클러스터에 대한 자동 적응

Redis 샤딩 클러스터와 비샤딩 클러스터에 데이터를 쓰는 방법에는 차이가 있습니다.

BladePipe는 Redis 매개변수를 획득하여 Redis의 클러스터 샤딩을 자동으로 식별하고 데이터 쓰기 방법을 조정하여 Incremental DataJob을 실행합니다.

캐시 만료 지원

Redis 인스턴스에 데이터를 쓸 때 캐시 만료 시간을 설정할 수 있습니다.

BladePipe DataJob을 생성할 때 선택적으로 만료 시간(초)을 설정할 수 있습니다. DataJob이 실행 중일 때 구성이 자동으로 적용됩니다.

절차

1단계: BladePipe 설치

BladePipe Worker를 다운로드하고 설치하려면 Install Worker(Docker) 또는 Install Worker(Binary)의 지침을 따르세요.

2단계: 데이터 소스 추가

1. BladePipe Cloud에 로그인하세요.
2. 데이터 소스 >를 클릭하세요. 데이터소스 추가.
3. 소스 및 대상 DataSource 유형을 선택하고 각각 설정 양식을 작성합니다. 참고: Redis 인스턴스가 클러스터인 경우 모든 노드 또는 모든 마스터 노드를 입력하고 쉼표로 구분하세요.

3단계: DataJob 생성

1. DataJob >을 클릭하세요. DataJob 생성.
2. 소스 및 대상 데이터 소스를 선택합니다. 대상 DataSource의 고급 구성에서 캐시 만료 시간(초)을 설정하세요. 숫자 <=0은 캐시가 만료되지 않음을 의미합니다.
3. 전체 데이터 옵션과 함께 DataJob 유형으로 증분을 선택합니다.

4. 복제할 테이블을 선택하세요.
   
   참고: Redis의 키는 소스 테이블의 기본 키로 구성되므로 기본 키가 없는 테이블을 선택하지 않는 것이 좋습니다.

5. 복제할 열을 선택하세요. 필요한 경우 데이터를 필터링하세요.
   

6. 생성 확인

이제 DataJob이 생성되고 시작됩니다. BladePipe는 다음 DataTask를 자동으로 실행합니다.

• 스키마 마이그레이션: 원본 테이블의 스키마가 대상 인스턴스로 마이그레이션됩니다.
• 전체 데이터 마이그레이션: 원본 테이블의 모든 기존 데이터가 대상 인스턴스로 완전히 마이그레이션됩니다.
• 증분 데이터 동기화: 진행 중인 데이터 변경 사항이 대상 인스턴스에 지속적으로 동기화됩니다.

FAQ

Redis 마스터/대기 전환 후에는 어떻게 해야 합니까?

BladePipe는 마스터/스탠바이 전환을 자동으로 감지하는 JedisCluster로 데이터를 씁니다.

Redis의 노드가 변경되면 어떻게 해야 하나요?

DataJob 구성의 노드 정보를 수동으로 수정하고 DataJob을 다시 시작할 수 있습니다.

위 내용은 MySQL에서 Redis로 실시간으로 데이터를 이동하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!