데이터 웨어하우스 기술에 대한 간략한 논의-MySQL 튜토리얼-php.cn

집

데이터 베이스

MySQL 튜토리얼

데이터 웨어하우스 기술에 대한 간략한 논의

little bottle

Apr 27, 2019 pm 05:34 PM

창고 기술

이 기사에서는 주로 학습 가치가 있는 데이터 웨어하우스 논리 아키텍처의 설계에 대해 설명합니다. 관심 있는 친구는 이에 대해 배울 수 있습니다.

오프라인 데이터 웨어하우스는 일반적으로 차원 모델링 이론을 기반으로 구축됩니다. 오프라인 데이터 웨어하우스는 주로 다음 사항을 고려하여 논리적으로 계층화됩니다.

1. 격리: 사용자가 사용하는 것은 데이터 팀에서 신중하게 처리해야 합니다. 이는 사용자가 비즈니스 관점에서 세심하게 준비되고 표준화된 깨끗한 데이터를 사용한다는 점입니다. 이해하고 사용하기가 매우 쉽습니다. 둘째, 업스트림 비즈니스 시스템이 변경되거나 재구성되는 경우(예: 테이블 구조, 필드, 비즈니스 의미 등) 데이터 팀은 이러한 모든 변경 사항을 처리하고 다운스트림 사용자에게 미치는 영향을 최소화할 책임이 있습니다.

2. 성능 및 유지 관리성: 데이터 계층화는 기본적으로 데이터 팀에서 모두 처리하므로 동일한 비즈니스 로직을 반복적으로 실행할 필요가 없으므로 해당 저장 및 계산 오버헤드가 절약됩니다. 또한 데이터 계층화를 통해 데이터 웨어하우스의 유지 관리가 명확하고 편리해지며, 각 계층은 자체 작업만 담당합니다. 특정 계층의 데이터 처리에 문제가 있는 경우 해당 계층만 수정하면 됩니다.

3. 표준화: 회사와 조직에서는 데이터의 수준이 매우 중요합니다. 모든 사람이 지표에 대해 이야기할 때는 명확하고 인정받는 수준을 기반으로 해야 하며, 외관, 필드 및 지표가 표준화되어야 합니다. .

4. ODS 레이어: 데이터 웨어하우스 소스 시스템의 데이터 테이블은 일반적으로 ODS(Operation Data Store) 레이어라고 합니다. 후속 데이터 웨어하우스 레이어(즉, Kimball 차원 모델링을 기반으로 생성된 팩트 테이블 및 차원 테이블 레이어와 동시에 이러한 팩트 테이블 및 세부 테이블을 기반으로 처리된 요약 레이어 데이터)에서 처리되는 데이터 소스입니다. ODS 계층은 또한 기록 증분 데이터 또는 전체 데이터를 저장합니다.

5. DWD 및 DWS 레이어: DWD(데이터 웨어하우스 세부 정보) 및 DWS(데이터 웨어하우스 요약)는 데이터 웨어하우스의 주제입니다. DWD 및 DWS 레이어의 데이터는 ETL 클리닝, 변환, 로딩 후 ODS 레이어에서 생성되며, 대개 Kimball의 차원 모델링 이론을 기반으로 구축되며 일관된 차원과 데이터 버스를 통해 각 하위 주제의 차원이 보장됩니다. 일관성.

6. 애플리케이션 계층(ADS): 애플리케이션 계층은 주로 DWD 및 DWS를 기반으로 각 사업부 또는 부서에서 구축한 데이터 마트(DM)입니다. (데이터 웨어하우스, DW). 일반적으로 애플리케이션 계층의 데이터는 DW 계층에서 오지만 원칙적으로 ODS 계층에 대한 직접 접근은 허용되지 않습니다. 또한 DW 레이어에 비해 애플리케이션 레이어에는 부서나 당사자가 직접 관심을 갖는 상세하고 요약된 레이어 데이터만 포함되어 있습니다.

더 많은 기술 튜토리얼을 알고 싶다면 PHP 중국어 웹사이트를 꼭 주목해주세요!

위 내용은 데이터 웨어하우스 기술에 대한 간략한 논의의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명

이 기사는 博客园에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제

관련 기사

MySQL Index Cardinality는 쿼리 성능에 어떤 영향을 미칩니 까?Apr 14, 2025 am 12:18 AM

MySQL Index Cardinality는 쿼리 성능에 중대한 영향을 미칩니다. 1. 높은 카디널리티 인덱스는 데이터 범위를보다 효과적으로 좁히고 쿼리 효율성을 향상시킬 수 있습니다. 2. 낮은 카디널리티 인덱스는 전체 테이블 스캔으로 이어질 수 있으며 쿼리 성능을 줄일 수 있습니다. 3. 관절 지수에서는 쿼리를 최적화하기 위해 높은 카디널리티 시퀀스를 앞에 놓아야합니다.

MySQL : 신규 사용자를위한 리소스 및 튜토리얼Apr 14, 2025 am 12:16 AM

MySQL 학습 경로에는 기본 지식, 핵심 개념, 사용 예제 및 최적화 기술이 포함됩니다. 1) 테이블, 행, 열 및 SQL 쿼리와 같은 기본 개념을 이해합니다. 2) MySQL의 정의, 작업 원칙 및 장점을 배우십시오. 3) 인덱스 및 저장 절차와 같은 기본 CRUD 작업 및 고급 사용량을 마스터합니다. 4) 인덱스의 합리적 사용 및 최적화 쿼리와 같은 일반적인 오류 디버깅 및 성능 최적화 제안에 익숙합니다. 이 단계를 통해 MySQL의 사용 및 최적화를 완전히 파악할 수 있습니다.

실제 MySQL : 예 및 사용 사례Apr 14, 2025 am 12:15 AM

MySQL의 실제 응용 프로그램에는 기본 데이터베이스 설계 및 복잡한 쿼리 최적화가 포함됩니다. 1) 기본 사용 : 사용자 정보 삽입, 쿼리, 업데이트 및 삭제와 같은 사용자 데이터를 저장하고 관리하는 데 사용됩니다. 2) 고급 사용 : 전자 상거래 플랫폼의 주문 및 재고 관리와 같은 복잡한 비즈니스 로직을 처리합니다. 3) 성능 최적화 : 인덱스, 파티션 테이블 및 쿼리 캐시를 사용하여 합리적으로 성능을 향상시킵니다.

MySQL의 SQL 명령 : 실제 예제Apr 14, 2025 am 12:09 AM

MySQL의 SQL 명령은 DDL, DML, DQL 및 DCL과 같은 범주로 나눌 수 있으며 데이터베이스 및 테이블을 작성, 수정, 삭제, 삽입, 업데이트, 데이터 삭제 및 복잡한 쿼리 작업을 수행하는 데 사용됩니다. 1. 기본 사용에는 CreateTable 생성 테이블, InsertInto 삽입 데이터 및 쿼리 데이터 선택이 포함됩니다. 2. 고급 사용에는 테이블 조인, 하위 쿼리 및 데이터 집계에 대한 GroupBy 조인이 포함됩니다. 3. 구문 검사, 데이터 유형 변환 및 권한 관리를 통해 구문 오류, 데이터 유형 불일치 및 권한 문제와 같은 일반적인 오류를 디버깅 할 수 있습니다. 4. 성능 최적화 제안에는 인덱스 사용, 전체 테이블 스캔 피하기, 조인 작업 최적화 및 트랜잭션을 사용하여 데이터 일관성을 보장하는 것이 포함됩니다.

InnoDB는 산 준수를 어떻게 처리합니까?Apr 14, 2025 am 12:03 AM

Innodb는 잠금 장치 및 MVCC를 통한 Undolog, 일관성 및 분리를 통해 원자력을 달성하고, Redolog를 통한 지속성을 달성합니다. 1) 원자력 : Undolog를 사용하여 원래 데이터를 기록하여 트랜잭션을 롤백 할 수 있는지 확인하십시오. 2) 일관성 : 행 수준 잠금 및 MVCC를 통한 데이터 일관성을 보장합니다. 3) 격리 : 다중 격리 수준을지지하고 반복적 인 방사선이 기본적으로 사용됩니다. 4) 지속성 : Redolog를 사용하여 수정을 기록하여 데이터가 오랫동안 저장되도록하십시오.

MySQL의 장소 : 데이터베이스 및 프로그래밍Apr 13, 2025 am 12:18 AM

데이터베이스 및 프로그래밍에서 MySQL의 위치는 매우 중요합니다. 다양한 응용 프로그램 시나리오에서 널리 사용되는 오픈 소스 관계형 데이터베이스 관리 시스템입니다. 1) MySQL은 웹, 모바일 및 엔터프라이즈 레벨 시스템을 지원하는 효율적인 데이터 저장, 조직 및 검색 기능을 제공합니다. 2) 클라이언트 서버 아키텍처를 사용하고 여러 스토리지 엔진 및 인덱스 최적화를 지원합니다. 3) 기본 사용에는 테이블 작성 및 데이터 삽입이 포함되며 고급 사용에는 다중 테이블 조인 및 복잡한 쿼리가 포함됩니다. 4) SQL 구문 오류 및 성능 문제와 같은 자주 묻는 질문은 설명 명령 및 느린 쿼리 로그를 통해 디버깅 할 수 있습니다. 5) 성능 최적화 방법에는 인덱스의 합리적인 사용, 최적화 된 쿼리 및 캐시 사용이 포함됩니다. 모범 사례에는 거래 사용 및 준비된 체계가 포함됩니다

MySQL : 소기업에서 대기업에 이르기까지Apr 13, 2025 am 12:17 AM

MySQL은 소규모 및 대기업에 적합합니다. 1) 소기업은 고객 정보 저장과 같은 기본 데이터 관리에 MySQL을 사용할 수 있습니다. 2) 대기업은 MySQL을 사용하여 대규모 데이터 및 복잡한 비즈니스 로직을 처리하여 쿼리 성능 및 트랜잭션 처리를 최적화 할 수 있습니다.

Phantom은 무엇을 읽고, Innodb는 어떻게 그들을 막을 수 있습니까 (다음 키 잠금)?Apr 13, 2025 am 12:16 AM

InnoDB는 팬텀 읽기를 차세대 점화 메커니즘을 통해 효과적으로 방지합니다. 1) Next-Keylocking은 Row Lock과 Gap Lock을 결합하여 레코드와 간격을 잠그기 위해 새로운 레코드가 삽입되지 않도록합니다. 2) 실제 응용 분야에서 쿼리를 최적화하고 격리 수준을 조정함으로써 잠금 경쟁을 줄이고 동시성 성능을 향상시킬 수 있습니다.

See all articles