1、概述
在大部分实施项目通过作业流串联ETL设置定时任务来进行灌数到指定数据库;而报表都是基于数据模型来实现,如果数据量很大会采用抽数模型以提高性能; 而数据模型的抽取是基于作业流抽数成功后才开始抽取,如果作业流抽取失败,数据模型继续抽取就没有任何意义;为了解决这个问题,所以在作业流中支持串联“数据模型”节点资源。
2、示例
作业流通过ETL节点灌数成功之后再抽取指标模型
2.1 、添加ETL节点
1)新建作业流,在作业流中增加ETL节点,如下图:
在左侧资源树上增加“指标模型”、“数据集”目录,点击“指标模型“或”数据集“目录,目录下仅显示”抽取“的资源
2.2 、添加”指标模型“
1)在作业流左侧资源树上添加“指标模型”,如下图:
拖入指标模型到作业流画布中,给指标模型与其他ETL或作业流设置依赖关系,即先执行ETL或作业流资源再执行指标模型的抽取;
由于指标模型或数据模型保存时会自动生成一个计划任务,所以需要去到”系统运维“/ "计划任务" / "数据抽取计划" 停止抽取计划。
停止抽取计划,并不会影响作业流中的”指标模型“或 ”数据模型“ 正常执行。
3)设置好依赖关系之后,必须先执行完前面的ETL或者作业流,才会执行”指标模型“。
- 执行作业流,如果”数据模型“本身存在异常,则会执行失败,并且失败的原因会在运行日志中体现;
- 如果在执行作业流的过程中,发现执行太久,用户可以直接取消抽取。
2.3 、设置定时任务执行抽取
做好作业流保存,保存成功后,在作业流底部菜单设置定时任务,进行定时抽取,如下图:
当”指标模型“依赖的ETL或作业流资源执行失败,会根据”失败重试机制“的 ”重试间隔“时间重新执行作业流,知道所有节点都跑通;
如果执行失败可以发送消息给管理员.