页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。


目录

1、概述

...

项目实施人员通过自助ETL灌数到指定的数据库表,由于数据是时时更新的,所以需要创建ETL调度进行抽数到数据库;

而业务用户是基于数据模型进行自助分析,比如建仪表盘,大屏等;而数据模型的数据来源于数据库,需要等数据库的数据更新之后,数据模型再进行抽取;

由于数据模型的抽取和ETL的调度是分开执行的,会有一个先后顺序或时间差,如果ETL执行不成功即没有把最新数据更新到表中,会导致数据模型在定好的时间抽取就没有意义或者说数据不准确;

...

 1)作业流和数据模型的抽取是独立分开进行的,但是数据模型的数据依赖于作业流即作业流先抽完,数据模型才能开始抽数,否则会出现数据不正确;

2)作业流执行完了之后数据模型再抽取数据,需要自定义任务(写代码)才能实现,而且非常复杂,耗时耗力

而在V10.5.8,作业流可以通过拖、拉、拽轻松设置数据模型与ETL执行的先后顺序,无需写代码、轻轻松松确保生产安全!

Image Added

2、示例

 指标模型通过作业流的"指标模型"节点直接抽取数据.


2.1 、添加ETL节点

 1)新建作业流,在作业流中增加ETL节点,如下图:

Image Added

左侧资源树上增加了“指标模型”、“数据集”目录,点击目录下仅显示”抽取“的数据模型或指标模型

2.2 、添加”指标模型“

1)在作业流左侧资源树上选择“指标模型”,如下图:

Image Added

拖入指标模型到作业流画布中,给指标模型与其他ETL或作业流设置串联关系,即先执行ETL或作业流资源再执行指标模型的抽取;

注意

由于指标模型或数据模型保存时会自动生成一个计划任务,所以需要去到”系统运维“/ "计划任务" / "数据抽取计划" 停止抽取计划

停止抽取计划,并不会影响作业流中的”指标模型“或  ”数据模型“ 正常执行。

3)设置好依赖关系之后,必须先执行完前面的ETL或者作业流,才会执行”指标模型“。

  •    执行作业流,如果”数据模型“本身存在异常,则会执行失败,并且失败的原因会在运行日志中体现;
  • 如果在执行作业流的过程中,发现执行太久,用户可以直接取消。


2.3 、设置定时任务执行抽取

做好作业流保存,保存成功后,在作业流底部菜单设置定时任务,进行定时抽取,如下图:

Image Added

当”指标模型“依赖的ETL或作业流资源执行失败,会根据”失败重试机制“的 ”重试间隔“时间重新执行作业流;

如果执行失败可以发送消息给管理员.

抽取计划的设置项详情请参考 计划任务 相关内容。