页面树结构
转至元数据结尾
转至元数据起始

在数据挖掘中,通过参数筛选用户可查询出需要的数据。

目前只有部分节点支持参数设置功能,如关系数据源、数据查询、关系目标表(追加)、关系目标表(覆盖)、关系目标表(插入或更新)、SQL脚本、源库SQL脚本。

操作步骤

1、新建实验,拖入关系数据源节点,并选择数据源、SCHEMA和表。

2、在公共空间针对本ETL定义一个参数,具体如何配置,参考公共设置-参数定义,下图是配置好的参数示例。

3、 点击 参数设置 按钮。

注意:在ETL中,需要先保存后,才能对参数按钮进行编辑。原因:涉要设置参数的话,首先需要知道是给哪个资源设置。

4、配置参数,选择参数类型、参数定义、参数值并保存。这里需要在参数定义中选择刚刚设定好的参数。

参数设置项说明如下:

设置项说明
参数名参数的名称。
参数类型


参数值:固定参数值

类型:

  • int:整数
  • bigint:整数(当整数超过int范围使用)
  • string:字符串
  • double:双精度浮点型
参数参数定义:在产品中定义的参数
参数值(可选):获取参数定义中的参数值。不选择参数值为动态参数,选择参数值后为静态参数值。

5、在关系数据源参数的SQL语句输入框中,只需要输入where之后的语句。可输入静态条件,如name=zs,或使用含参数的语句:CategoryName=${param}  (表头真名=${参数名})

在查看输出中选择表头真名,可查看表头真名。

6、筛选出产品名称为“饮料”的数据,如图:



增量抽取场景

增量抽取可以显著减少数据传输量和处理时间,比如需要前三天至今天抽取新增的数据,但不希望全量抽取,可以使用参数来实现增量抽取。

1、首先连接好数据源和目标源节点。

2、在参数定义中编写sql获取当天的日期。

2、返回到ETL界面中,把刚刚新建的参数定义在ETL里。


3、在关系目标源中的SQL语句编辑框中填写如图的内容,即可抽取前三天至今新增的数据。