Redis에서 핫 데이터와 콜드 데이터의 식별 및 교환을 실현하는 방법

Background

Redis 하이브리드 스토리지 제품은 Alibaba Cloud가 독자적으로 개발한 하이브리드 스토리지 제품으로 Redis 프로토콜 및 기능과 완벽하게 호환됩니다.

콜드 데이터의 일부를 디스크에 저장함으로써 사용자 비용을 크게 절감하고 Redis 단일 인스턴스의 데이터 볼륨에 대한 메모리 제한을 돌파하면서 대부분의 액세스 성능이 저하되지 않도록 보장합니다.

그 중 핫 데이터와 콜드 데이터의 식별 및 교환은 하이브리드 스토리지 제품 성능의 핵심 요소입니다.

핫 데이터와 콜드 데이터의 정의

Redis 하이브리드 스토리지에서는 메모리 대 디스크 비율을 사용자가 자유롭게 선택할 수 있습니다.

Redis 하이브리드 스토리지 인스턴스는 소량의 메모리를 사용하여 모든 키를 핫 데이터로 간주합니다. 비용은 모든 키 액세스 요청의 성능이 효율적이고 일관되도록 보장합니다. Value 부분의 경우 메모리가 부족하면 인스턴스 자체가 최근 액세스 시간, 액세스 빈도, Value 크기 및 기타 차원을 기반으로 값의 일부를 콜드 데이터로 선택하고 메모리가 부족할 때까지 백그라운드에서 디스크에 비동기식으로 저장합니다. 지정된 임계값보다 작습니다.

Redis 하이브리드 스토리지 인스턴스에서는 모든 키를 핫 데이터로 간주하고 다음 두 가지 고려 사항을 위해 메모리에 저장합니다.

1. 키 액세스 빈도는 값보다 훨씬 높습니다.

2. KV 데이터베이스로서 일반 접근 요청은 먼저 키를 검색하여 키가 존재하는지 확인해야 합니다. 키가 존재하지 않는지 확인하려면 어떤 형태로든 모든 키 집합을 확인해야 합니다. 인메모리 데이터 구조에 대한 모든 키 값을 유지하면 검색 속도가 순수 메모리 데이터 구조와 정확히 동일하다는 것을 보장할 수 있습니다.

3. 키 크기 비율이 매우 낮습니다.

4. 일반적인 비즈니스 모델에서는 일반 문자열 유형이라 하더라도 일반적으로 해당 값이 Key보다 몇 배 더 큽니다. Set, List, Hash 등과 같은 컬렉션 개체의 경우 모든 멤버의 합으로 형성된 값은 키보다 몇 배 더 큽니다.

따라서 Redis 하이브리드 스토리지 인스턴스에 적용할 수 있는 두 가지 주요 시나리오는 다음과 같습니다.

1. 불균일한 데이터 액세스 및 핫스팟 데이터

2. 메모리가 모든 데이터를 담기에 충분하지 않고 값이 큽니다( 키 기준)

핫 및 콜드 데이터 식별

메모리가 부족한 경우 인스턴스는 최근 액세스 시간, 액세스 빈도, 값 크기 및 기타 차원을 기반으로 값의 가중치를 계산하고 값을 다음과 같이 저장합니다. 디스크에서 가장 낮은 가중치를 부여하고 메모리에서 제거됩니다.

의사 코드는 다음과 같습니다.

가장 이상적인 상황에서는 현재 최저값을 정확하게 계산할 수 있기를 바랍니다. 그러나 값의 hot과 cold 정도는 접근 상황에 따라 동적으로 변하며, 매번 모든 값의 hot과 cold 가중치를 다시 계산하는 데 드는 시간 소모는 전혀 용납할 수 없습니다.

Redis 자체는 메모리가 가득 차면 사용자가 설정한 제거 전략에 따라 데이터를 제거하며, 메모리에서 디스크로 핫 데이터를 쓰는 것도 "제거" 프로세스로 간주될 수 있습니다. 성능, 정확성 및 사용자 이해도를 고려하여 Hot 및 Cold 데이터 식별 시 Redis와 유사한 대략적인 계산 방법을 사용합니다. 다양한 전략을 지원하고 데이터의 작은 부분을 무작위로 샘플링하여 CPU 및 메모리 소비를 줄이고 Eviction Pool을 통해 샘플링을 활용합니다. . 정확성을 높이는 데 도움이 되는 기록 정보입니다.

Redis의 대략적인 제거 알고리즘의 적중률에 대한 개략도는 다양한 버전과 다양한 샘플링 샘플 구성으로 표시됩니다. 제거된 데이터 포인트는 연한 회색으로, 제거되지 않은 데이터 포인트는 회색으로, 테스트 중에 추가된 데이터 포인트는 녹색으로 표시됩니다.

핫 및 콜드 데이터 교환

Redis 혼합 스토리지 핫 및 콜드 데이터 교환 프로세스는 백그라운드 IO 스레드에서 완료됩니다.

핫 데이터 ->콜드 데이터

비동기 방식:

1. 메인 스레드는 메모리가 최대값에 가까워지면 일련의 데이터 스와핑 작업을 생성합니다.

2. 백그라운드 스레드는 이러한 데이터 스와핑을 실행합니다. 작업이 완료되면 메인 스레드에 알림이 전달됩니다.

3. 메인 스레드는 해제된 메모리의 값을 업데이트하고 메모리에 있는 데이터 사전의 값을 간단한 메타 정보로 업데이트합니다.

   동기화 방식:

4. 작성 시 트래픽이 너무 많으면 비동기식 방식으로 데이터를 제때에 스왑 아웃할 수 없어 메모리가 최대 사양을 초과할 수 있습니다. 메인 스레드는 위장된 전류 제한 목적을 달성하기 위해 데이터 교환 작업을 직접 수행합니다.

콜드 데이터 ->핫 데이터

비동기 방식:

명령을 실행하기 전에 메인 스레드는 먼저 명령에 포함된 값이 메모리에 있는지 확인합니다.

1. 그렇지 않은 경우, 데이터 로딩 작업을 생성하고 클라이언트를 일시 중지하면 메인 스레드는 계속해서 다른 클라이언트 요청을 처리합니다.

2. 백그라운드 스레드는 데이터 로딩 작업을 수행하고 완료 후 메인 스레드에 알립니다. 메모리에 있는 데이터 사전의 값, 이전에 일시 중지된 클라이언트를 깨우고 해당 요청을 처리합니다.

3. 동기화 방법:

4. Lua 스크립트에서는 특정 명령 실행 단계에서 디스크에 값이 저장되어 있는 것이 발견되면 메인 스레드가 직접 데이터 로딩 작업을 실행하여 의미가 있는지 확인합니다. Lua 스크립트와 명령은 변경되지 않습니다.

위 내용은 Redis에서 핫 데이터와 콜드 데이터의 식별 및 교환을 실현하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!