샤딩 - 데이터베이스 샤딩 및 테이블 절단 후 Java 백엔드 코드 구현 및 모범 사례

Question

이제 비즈니스에서는 일부 테이블이 점점 커지고 있고 읽을 때의 부담이 매우 높기 때문에(쓰기 요구는 상대적으로 적음) 데이터베이스 측면에서 특히 많은 양의 데이터가 있는 일부 테이블을 잘라내기로 결정했습니다. 그러나 백엔드 코드에는 이러한 테이블을 조인해야 하는 코드가 많습니다.

大家讲道理 · Answer

데이터베이스 미들웨어 도입을 고려해 볼 수 있습니다
sharding-jdbc 클라이언트 레벨
mycat-server 서버 레벨

世界只因有你 · Answer

친구가 SQL 스타일 쿼리를 지원하고 1억 개의 데이터에 대해 약 0.5초 만에 결과를 반환하는 Spark를 추천했습니다

ringa_lee · Answer

우리 프로젝트의 현재 상황에 한해: 테이블을 분할할 때 해시 알고리즘에 따라 특정 테이블에 해당하고, 가져올 때 알고리즘에 따라 데이터의 분포 위치를 먼저 얻은 다음 일반 선택을 수행합니다. 끝났어

漂亮男人 · Answer

조인 테이블 쿼리는 권장하지 않습니다
1. 데이터베이스 리소스는 상대적으로 소중하며, 조인 테이블 쿼리는 많은 메모리를 차지하므로 데이터베이스 성능이 저하됩니다.
2. 여러 데이터베이스 인스턴스에서는 데이터가 지원되지 않습니다. 상황을 처리할 수 없고 확장성이 좋지 않습니다

일반적인 접근 방식은 조인 테이블 쿼리를 여러 개의 단일 테이블 쿼리로 나눈 다음 결과를 애플리케이션에 요약하는 것입니다.
1. 위의 테이블 쿼리 문제를 해결할 수 있습니다.
2. 여러 쿼리의 경우 각 쿼리의 중간 결과도 프로그램에서 처리할 수 있어 유연성이 뛰어납니다.
3. 애플리케이션은 언제든지 확장될 수 있어 더욱 유연해집니다

오프라인 시나리오인 경우 hadoop 등의 MR(mapreduce) 프레임워크를 사용하여 처리하는 것이 좋습니다. 따라서 데이터를 HDFS에 작성해야 합니다.

欧阳克 · Answer

http://blog.csdn.net/tianyale...
하위 데이터베이스 및 하위 테이블에 대한 자세한 설명

샤딩 - 데이터베이스 샤딩 및 테이블 절단 후 Java 백엔드 코드 구현 및 모범 사례

모든 응답(5)나는 대답할 것이다