과거 데이터 마이그레이션 계획
1. 시나리오 요구 사항
온라인 암호화가 모든 사용자에게 적용되면 다음으로 중요한 단계는 모든 기록 데이터를 암호화하는 것입니다.
참고용으로 내부 스트레스 테스트 데이터와 사례 경험을 바탕으로 RDS 마이그레이션 계획과 성능 데이터를 정리했습니다.
2 프로젝트 소개
2.1 데이터 마이그레이션, 준비:
1) 코드 로직이 일반 텍스트와 암호문과 호환되는지 확인하세요. .
2) 암호화 스위치가 켜져 있는지 확인하세요.
3) RDS 및 TOP API에서 새로 들어오는 데이터가 이미 암호화되어 있는지 확인합니다.
2.2권장 데이터 마이그레이션 계획
내결함성 로직이 완료되었는지 확인한 후 마이그레이션하세요. 먼저 소수의 고객 마이그레이션 테스트를 수행한 후 전체 마이그레이션 테스트를 수행할 수 있습니다.
1) 첫 번째, 단일 고객 데이터 마이그레이션 테스트:
한 고객을 마이그레이션하여 마이그레이션 계획을 테스트해 보세요. 권장 마이그레이션 금액은 <100만입니다. 더 낮은 동시성 수로 시작할 수 있습니다. 예: 동시에 5-10개의 스레드. (위 스트레스 테스트 데이터를 기준으로 선택 가능)
평소 성능을 미리 기록
마이그레이션 기간을 기록 그런 다음 마이그레이션 시간, IOPS/연결/CPU/TPS/QPS를 기록합니다. 마이그레이션 프로세스 중 등. 평소 성능과 비교하십시오.
2) 이전 계획
앞서 계산한 마이그레이션 속도를 바탕으로 마이그레이션 시간과 계획을 계산합니다.
먼저 마이그레이션의 최소 세분성을 결정합니다. 예를 들어 독립적으로 배포하는 ISV는 하나의 배포에 대한 최소 세분성을 결정할 수 있습니다. 기능의 독립성과 총 마이그레이션 기간을 고려하십시오(3시간 이내로 제어).
첫날 마이그레이션할 때 데이터 볼륨, 시간 등을 계속 기록합니다.
마이그레이션 프로세스가 문제 없이 원활하게 진행되고 성능 부하를 견딜 수 있다면 나중에 점차적으로 스레드 수를 늘려도 됩니다.
이후에는 첫날을 기준으로 스레드 수와 동시 마이그레이션 수를 점차적으로 늘릴 수 있습니다. 데이터베이스 성능을 지속적으로 모니터링하십시오. 마이그레이션이 완료될 때까지.
3) 코드 논리에 대한 참고 사항:
• 참고: 사용자 세션이 유효한 경우에만 또는 만료 날짜가 90일을 초과하지 않고 사용자 상태가 만료되지 않은 경우에만 키를 검색할 수 있습니다.
마이그레이션 프로세스 중에 은 90일 이상 만료된 유효하지 않은 항목을 제외하세요. 사용자( 즉: 정지, 취소 등) .
그렇지 않으면 대량의 키 요청 실패 및 암호화 실패가 발생합니다.
• 데이터베이스에서 사용자 데이터를 가져와 암호화할 때 페이징 크기 조절에 주의하세요.
2.3 데이터 마이그레이션, 주요 데이터 참조: #🎜 🎜#
목표: 데이터베이스 크기, 데이터베이스 및 애플리케이션 아키텍처, 선택한 데이터베이스 성능을 기반으로 ISV에 적합한 데이터 마이그레이션 계획을 권장합니다.
정보 및 데이터:
RDS 푸시 데이터베이스 성능: http ://cloud.tmall.com/rdsSelection.htm
#🎜 🎜#
위 그림은 데이터베이스 구성 목록을 보여줍니다. 내부 스트레스 테스트를 위해 빨간색 상자에 있는 4개의 RDS 구성을 선택했습니다. 테스트 결과는 다음 섹션을 참조하세요.
스트레스 테스트 결과: #🎜 🎜#
1) 중간 규모 데이터베이스(IOPS = 1200) 스트레스 테스트: 4대의 머신을 사용하여 3번의 테스트를 수행하고 각각 10, 15, 25개의 스레드를 활성화했습니다. 200만 개의 데이터, 마이그레이션 과정 중 마이그레이션 시간 및 성능은 다음과 같습니다.데이터 마이그레이션 시간:
머신 수 | 개수 | 데이터 양 | 시간 | |
테스트 1 | 4 | 10 | 200주 | 31분 |
| 테스트 2 | 4 | 15 | 200w | 19분 |
테스트 3 | 4 | 25 | 200w | 13분 |
마이그레이션 성능:
| 기계 수#🎜 🎜 # | 스레드 수# ㅋㅋㅋ IVE 연결 # 🎜🎜# | CPU Peak | #🎜 🎜# # 🎜🎜#초당 평균 트랜잭션(TPS)( peak) | 초당 SQL (QPS)( | Peak) # 🎜🎜# | 테스트 1# ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ # ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ # # 🎜🎜#12%🎜🎜# 3000#🎜 🎜 # | ||||||||||||||||||||||||||||||||||||
4500 | #🎜 🎜# # 🎜🎜#테스트 2 | 4#🎜🎜 # | 15 | 40 #🎜 🎜 # | 45#🎜 🎜 # 5500 | 7500 | #🎜 🎜## 🎜 🎜 #|||||||||||||||||||||||||||||||||||||
테스트 3 | #🎜 🎜 # 4 | 25 | # 🎜 🎜 #40 | 75 # 🎜 🎜 # | 32%#🎜🎜 ## 🎜 🎜#10000 |
2) 대규모 데이터베이스(IOPS = 3000) 스트레스 테스트: 4대의 머신을 사용하여 3번의 테스트를 수행했으며 각각 10, 15, 25개의 스레드를 활성화하고 200만 개의 데이터를 마이그레이션했으며 마이그레이션 시간과 마이그레이션 시간은 프로세스 중 성능은 다음과 같습니다.
데이터 마이그레이션 시간:
|
