在大数据可视化平台中,cube的更新操作旨在将底层数据库中的最新数据同步至cube结构,从而保障二者间的数据一致性。
1、 手动触发Cube更新
2、 用户在大数据可视化平台的业务包管理模块完成新建业务包后,系统仅建立该业务包与数据库之间的逻辑关联,并不会自动将数据拉取至本地Cube。如需将对应数据同步至本地环境,须进入Cube更新配置页面,主动执行多维数据集的刷新动作,点击“立即更新”按钮即可完成本地数据同步,具体操作如下图所示:

3、 全局范围内的Cube更新流程(第二步)
4、 Cube全局更新是指在大数据可视化平台中,对当前Cube内所有已接入业务包所涵盖的全部数据表及其字段,统一进行数据重载与聚合计算,确保整体模型数据时效性与完整性。
5、 在平台的数据配置中心,进入Cube更新设置模块,即可开启全局更新策略配置。例如,可设定每周二凌晨0点为固定执行时间,自动启动全量Cube刷新任务,操作界面如下图所示:
6、 用户可通过点击“定时设置”按钮,灵活添加多个全局自动更新时刻。例如,若需在每周二和周三均执行一次全局更新,只需分别新增两个对应的时间节点,即可实现周期性批量同步。
7、 平台会自动记录所有Cube更新行为,包括手动与定时任务的执行轨迹,保障数据更新过程可追溯、结果可验证,全面提升数据准确率与时效性。

8、 Cube模块功能迭代说明
9、 在大数据可视化平台中,针对Cube模块的个性化更新能力,是指为指定业务包单独配置定时刷新规则,按计划对其内部数据表实施更新操作。支持两种更新模式:全量更新与增量更新,以适配多样化业务场景下的数据同步需求。
10、 进入平台数据配置模块,选择“业务包管理”,定位目标业务包并进入其详情页。在数据表列表中勾选需配置更新策略的表项,以BIdemo业务包为例,对其下属的“活动费用表”进行定时更新参数设定,保存后即可启用自动化同步机制。
11、 在大数据可视化平台中,找到并点击“活动费用表”,跳转至该表专属配置界面,随后点击页面底部的“更新设置”按钮,即可进入更新策略配置入口。

12、 进入activity_fee表的详细配置页面,界面布局如下图所示:
13、 点击“立即更新”按钮,可即时对该表执行一次手动刷新操作。
14、 全面持续的数据更新机制
15、 全量更新即对目标数据表中的全部记录执行一次完整的重新加载与建模过程。
16、 若用户在配置某张数据表的全量更新时未单独设定执行时间,则系统默认沿用全局更新的时间策略进行调度,相关设置示意如下图:
17、 用户亦可选择不参与全局更新节奏,在对应下拉选项中选择“不更新”,即可屏蔽该表在全局时间点上的自动刷新行为。
本文档主要讲述的是用Apache Spark进行大数据处理——第一部分:入门介绍;Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 在这个Apache Spark文章系列的第一部分中,我们将了解到什么是Spark,它与典型的MapReduce解决方案的比较以及它如何为大数据处理提供了一套完整的工具。希望本文档会给有需要的朋友带来帮助;感

18、 除支持统一的全局更新时间规划外,平台还允许为单张数据表独立配置专属的全量更新时刻。只需点击“定时设置”,添加所需时间点,即可完成精细化调度设置,操作示意图如下:
19、 支持为同一张表设置多个定时更新节点,满足复杂业务节奏下的差异化同步要求。

20、 初始阶段执行全量构建,后续仅做增量维护
21、 增量更新的核心逻辑是:仅识别并同步数据库中发生新增、删除或修改的数据变更项,原有稳定数据保持原状。借助图形化操作界面,实现大数据环境下的轻量级动态刷新,显著提升处理效率与系统响应性能。
22、 实施增量更新前,需预先在源数据库中创建一张变更追踪辅助表。假设原始主表为A,其主键为ID,则需额外构建一张表B用于记录A表的所有变更事件。通常,表B应至少包含三个核心字段:与A表ID一致的标识字段、操作类型字段(如INSERT/UPDATE/DELETE)、以及操作发生的时间戳字段。平台通过解析表B中的变更日志,精准识别数据变动类型,并据此对Cube执行对应的增量插入、增量删除或增量更新操作,从而达成高效、可控的数据同步效果。
23、 在大数据可视化平台中,增量新增操作指的是将数据库中新插入的数据实时同步至Cube中。系统通过执行自定义SQL语句提取A表中最新插入的记录集合,并结合FineBI内置的时间参数机制,限定仅同步本次新增部分,实现高精度、低开销的数据刷新,效果示意如下图:

24、 增量删除功能则负责将数据库中已被逻辑或物理删除的数据同步清除出Cube结构,其执行逻辑与增量新增高度一致,操作界面如下图所示:

25、 增量修改功能用于同步数据库中已存在但内容发生变更的数据记录,其底层机制同样基于变更日志识别与定向刷新,与增量新增保持一致的技术路径。
26、 在配置增量更新SQL脚本时,用户可点击“预览”按钮,实时查看SQL执行结果,便于校验语句准确性与数据覆盖范围。

27、 首次生成全量数据,后续不再重复刷新
28、 此类更新策略适用于首次构建完成后仅需一次性同步的场景:初始阶段执行全量生成,之后仅在更新设置页面中明确指定的时间点各执行一次,此后永久停止更新。若该表同时被纳入全局手动或定时更新流程中,则其所设时间点也将被统一纳入全局调度队列,具体配置示意如下图:

29、 查看Cube更新运行日志
30、 在FineBI服务管理中心中选择“Cube更新设置”,进入大数据可视化平台的配置后台后,即可访问Cube更新日志模块。日志内容完整涵盖Cube构建全过程的关键信息,包括异常报错详情、数据抽取耗时、索引构建用时、字段映射耗时等关键指标,帮助用户全面掌握更新执行状态及系统性能表现,界面如下图所示:











