目前只有部分节点支持参数设置功能,如关系数据源、数据查询、关系目标表(追加)、关系目标表(覆盖)、关系目标表(插入或更新)、SQL脚本、源库SQL脚本。
操作步骤
1、新建实验,拖入关系数据源节点,并选择数据源、SCHEMA和表。
2、在公共空间针对本ETL定义一个参数,具体如何配置,参考公共设置-参数定义,下图是配置好的参数示例。
3、 点击 参数设置 按钮。
4、配置参数,选择参数类型、参数定义、参数值并保存。这里需要在参数定义中选择刚刚设定好的参数。
参数设置项说明如下:
设置项 | 说明 | |
---|---|---|
参数名 | 参数的名称。 | |
参数类型 | 值 | 参数值:固定参数值 |
类型:
| ||
参数 | 参数定义:在产品中定义的参数 | |
参数值(可选):获取参数定义中的参数值。不选择参数值为动态参数,选择参数值后为静态参数值。 |
5、在关系数据源参数的SQL语句输入框中,只需要输入where之后的语句。可输入静态条件,如name=zs,或使用含参数的语句:CategoryName=${param} (表头真名=${参数名})
在查看输出中选择表头真名,可查看表头真名。
6、筛选出产品名称为“饮料”的数据,如图:
增量抽取场景
假如需要前三天至今天抽取新增的数据,但不希望全量抽取,可以使用参数来实现增量抽取。增量抽取可以显著减少数据传输量和处理时间,比如需要前三天至今天抽取新增的数据,但不希望全量抽取,可以使用参数来实现增量抽取。
1、首先连接好数据源和目标源节点。
2、在参数定义中编写sql获取当天的日期。
2、返回到ETL界面中,把刚刚新建的参数定义在ETL里。
3、在关系目标源中的SQL语句编辑框中填写如图的内容,即可抽取前三天至今新增的数据。