页面树结构
转至元数据结尾
转至元数据起始

该节点为V10.5.8版本之后的功能。

概念

检查依赖节点提供了逻辑判断的功能可用于检查作业在指定周期内是否有运行成功的实例,如果成功则将执行与之有依赖的后续作业。

比如A作业执行依赖的是昨天的B作业执行成功,检查依赖节点会去检查B作业在昨天是否有执行成功的实例。


一个典型的应用场景是增量抽取,以电商为例,用户需要统计分析本月的销售情况,由于销售数据较大,用户希望能够将业务系统中的数据按一定的频率抽取到数据仓库中,同时不能对业务系统造成太大的压力,影响现有业务。假设抽取频率为一天,存在一个ETL任务需要统计处本月截止到现在的销售情况。一般地,可以在创建数据库表时,增加一个额外的时间戳字段,负责抽取任务的ETL通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。为了保证数据的准确性,需要保证本月截止到现在,负责抽取任务的ETL每一天的运行都是正常的,才能执行接下来的统计分析本月截止到现在的销售情况ETL任务。此时,就可以使用“检查依赖”功能。

输入/输出

输入

一个输入端口,用于连接节点。

输出

一个输出端口,根据检查结果判断是否执行后续有依赖的作业。

参数设置

检查依赖设置页面如下:

设置的检查依赖表示:ETL“11”上个月初那天有执行成功的实例,才能执行后续有依赖的节点

设置项说明如下:

设置项说明
依赖类型用于选择检查的作业类型,包括自助ETL、作业流。
依赖资源名称用于选择检查的具体资源名称。
运行周期选择某一时间节点,按照从此时间节点至今,被选中的资源是否有运行成功的实例
  • 本月:从月初开始到当前时间;
  • 上月:上个月;
  • 上月初:上个月第一天;
  • 上月末:上个月最后一天。
本周、上周、上周一、上周三、上周五、上周日
今天、昨天、前两天、前三天、前七天
当前小时、前1小时、前24小时
操作删除删除此条检查依赖。
添加添加下一条检查依赖。

需要注意以下几点:

  • 如果设置多个检查依赖检查依赖之间的关系取交集(AND)。
  • 如果该节点运行失败,鼠标移动到节点上方,可根据提示查看不通过的具体信息。

  • 失败重试机制:如果遇到本次运行失败,而其他时间运行可能会成功的情况,可设置失败重试。设置步骤可参考下面的示例步骤4,设置说明可参考 新建计划  。

示例

1、拖入开始、检查依赖、自助ETL等节点到画布区中并连接,选择检查依赖节点,点击 编辑依赖 按钮。

2、添加两个检查依赖如下:

设置的检查依赖表示:自助ETL“11”、自助ETL“22”从月初开始到当前时间内的每一天都有执行成功的实例,才能继续执行“导入文件-etl”节点

3、保存并运行作业流。

4、(可选)如果作业流运行失败,但在其他时间运行可能会成功的情况,可在工具栏中点击 定时任务 按钮。

设置重试次数为2次,重试间隔为8小时。

表示如果作业流运行失败,则每隔8小时系统会重新运行一次,一共会运行2次。


  • 无标签