作业流是ETL作业依赖编排工具,用户可以通过图形化的界面,对ETL的依赖进行编排。其中,ETL依赖是指从原始数据到最终展现数据,可能需要经过多个ETL过程,ETL的执行存在着依赖关系。
作业:作业是用户在一次算题过程中或一个事务处理中要求计算机系统所做的工作的集合,正在执行的一个或多个相关进程被称为作业。一个作业可以分为若干个流(flow),如果流之间的处理是有先后顺序的,可以顺序的执行每一个流;如果流之间互不影响,可以进行并行处理。
界面介绍
入口一:在 数据准备>自助ETL 中,选择"作业流"。
入口二:在数据准备左侧资源树的作业流上,右键选择新建"作业流"。
作业流设计界面
界面说明如下:
名称 | 说明 |
---|---|
资源树 | 可将自助ETL、作业流当做作业拖拽到画布区中使用。
资源树中的目录支持“刷新”、“全选节点并串联”、“全选节点并联”功能:
|
信息栏 | 显示作业流名称、运行状态。 |
画布区 | 在画布区定制作业流。 |
画布工具栏 |
|
参数面板 | 参数面板分为两种状态: 1、未选中画布中任何节点:作业流的相关属性。
优先级运行规则:作业流按照“高>中>低”的优先级进行调度,遇到优先级同级的作业流则按顺序调度,超过最大运行数之后的作业流需要先排队等待(最大运行作业流数可参考 作业流配置项 进行设置)。打开 系统监控-作业流监控 页面,可查看正在执行和排队等待执行的作业流列表。 示例:有高中低三个级别的作业流,设置了最大运行作业流数为2,则低级作业流需要等高级、中级作业流运行完成后才能运行。
2、选中画布中节点:参数面板区域依次出现参数、属性页签。其中在参数页签中,点击 编辑资源 按钮,打开选中节点资源,可查看、编辑节点资源。 |
工具栏 |
|
节点右键
各节点资源的右键菜单支持对工作流的相关操作。
这些右键菜单各项的说明如下:
右键菜单 | 说明 |
---|---|
执行到此处 | 表示运行工作流时到当前节点资源结束。 |
强制执行该节点 | 表示强制单独执行该节点。 |
强制从当前节点开始执行 | 表示运行工作流时强制从当前节点资源开始执行。 |
删除 | 表示删除当前节点资源。 |
查看日志 | 用于查看当前节点资源的运行日志。 |
查看执行参数 | 用于查看当前节点资源的执行参数。 |
用户执行带定时任务的作业流失败,重试定时任务时从失败节点开始执行。
分支条件界面
选中分支条右键选择 编辑条件 :
设置项说明如下:
设置项 | 说明 | |
---|---|---|
依赖作业 | 设置分支条件的作业流节点。 | |
目标作业 | 依赖作业下一个执行顺序的节点,如果满足设置条件会继续运行目标作业,如果不满足则作业流不会运行依赖作业以后的节点。 | |
条件类型 | 作业参数 | 将设置的参数作为条件,判断如果满足条件,则运行目标作业,如果不满足则不执行目标作业。 参数来源:依赖作业中设置的参数。如下图参数“UnitPrice”来源于自助ETL2作业中设置的参数。 关于如何设置依赖作业中的参数,可参考 数据挖掘-参数设置 。 |
作业状态 | 条件分为成功、失败两种,表示依赖作业如果成功或失败,就运行目标作业。 |
操作步骤
1、在 数据准备>自助ETL 中,点击"作业流",打开新建作业流页面。
2、每个作业流必须包含开始节点,拖拽“开始”节点到画布区。
3、在左侧资源树中,可拖拽自助ETL节点、ETL作业流节点,并连接节点之间的连线。
4、双击“11”节点和“22”节点之间的连线,设置分支条件。条件类型选择“作业状态”,条件选择“成功”,点击 + 按钮,添加条件。
条件表示:如果依赖节点11运行成功,才会执行目标作业22节点,否则不会执行下去。
5、点击 运行 按钮,运行节点。节点运行成功后,点击 定时任务 按钮,设置该作业流的定时任务。
设置的定时任务如下:
6、设置完成后保存任务,保存新建的作业流。
用户创建完成作业流后,可对作业流进行监控。
作业流监控
作业流监控
用户可在数据准备页面中点击 抽取监控 按钮。,监控作业流执行计划任务状况,了解作业流的结果,详情请参考 作业流监控 。
运维人员监控
运维人员可通过 系统监控>作业流监控 ,监控作业流作业的运行情况,详情请参考 系统监控-作业流监控 。
关于在线作业流和和排队作业流作业数的配置项,详情请参考 作业流 。