• 技术文章 >常见问题

    数据仓库的基本功能包括哪些?

    青灯夜游青灯夜游2022-01-07 10:46:19原创69

    数据仓库的基本功能包括:1、ETL设计,包括数据的抽取同步、数据清洗、数据转换;2、数据分层,一般会划分为ODS层、CM层、ML层;3、数据初步建模。

    本教程操作环境:windows7系统、Dell G3电脑。

    数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。

    数据仓库的基本功能

    ETL设计:数据的抽取同步、数据清洗、数据转换。涉及关系型数据库(mysql、mariadb、oracle等),文档型数据库(mongodb、elasticsearch等)。

    数据分层:一般划分为ODS层、CM层、ML层。ODS层表示未进行加工的数据。CM层表示清洗合并层的数据。

    数据初步建模:对应数据分层ML层,一般采用关系模型(雪花模型)或星型模型,形成宽表对外提供数据支持。

    涉及技术:HDFS、HIVE、HBASE、MR、SPARK、YARN等。

    数据仓库架构

    下图为工作中参考很多公司的数据架构规划出的数据架构,仅供参考。

    1.png

    更多相关知识,请访问常见问题栏目!

    以上就是数据仓库的基本功能包括哪些?的详细内容,更多请关注php中文网其它相关文章!

    声明:本文原创发布php中文网,转载请注明出处,感谢您的尊重!如有疑问,请联系admin@php.cn处理
    专题推荐:数据仓库
    上一篇:注册表的修改必须要用注册表编辑器,其原因是什么? 下一篇:app是什么应用程序的简称
    php中文网线上培训班

    相关文章推荐

    • 数据仓库系统的技术体系架构设计• 数据仓库与事务型数据库的区别• SQL Server 2008安装并配置管理数据仓库• Oracle数据仓库的分层管理器解决方案开发者网络Oracle• 利用db_link创建物化视图数据同步到数据仓库• mysql多维数据仓库指南是什么

    全部评论我要评论

  • 取消发布评论发送
  • 1/1

    PHP中文网