Smartbi提供了3种方式用于数据的输出,分别是关系目标表(追加)、关系目标表(覆盖)、关系目标表(插入或更新),支持将数据导出到目标库中。
关系目标表
概述
关系目标表通过追加、覆盖、插入或更新的方式将结果数据保存到Smartbi的关系数据源中。
类型 | 说明 |
---|---|
在原数据的基础上增加新的数据。 | |
用新的数据对原数据进行覆盖。 | |
根据数据库表主键进行数据的插入或更新,若主键相同,则更新数据,否则插入数据。 |
目前支持Infobright、ClickHouse、Vertica、Oracle、MySQL、DB2、MSSQL、PostgreSQL、GuassDB 100、GuassDB 200、Greenplum(V9.5目前不支持Greenplum数据库)、星环(用户名密码方式 V9.5目前不支持星环数据库)、达梦(V9.5目前不支持达梦数据库,V9.7支持6、7.1、7.6版本的达梦数据库)、GBase(V9.5目前不支持GBase数据库,V9.7支持8A、8S V8.4、8S V8.8版本的GBase数据库)、Sybase、MariaDB、MonetDB。
输入输出
输入 | 只有一个输入端口,用于将接收到的结果数据存储到指定库中。 |
---|---|
输出 | 没有输出端口。 |
参数配置
关系目标源(追加)的参数:
关系目标源(覆盖)的参数:
关系目标源(插入或更新)的参数:
参数说明如下:
参数 | 说明 |
---|---|
数据源 | 选择数据源,这些数据源是在Smartbi中连接的关系数据源。 |
SCHEMA | 在选择的数据源中选择SCHEMA。 |
表 | 选择数据源和SCHEMA之后,可以选择目标表。 新建一张表,也可以在下拉框中选择已有的表,详情请参考 |
节点高级设置 | 用于配置JDBC写入数据时的connection、batchsize、写入最大并发数等属性详,请参考 节点高级设置 。 |
回退模式 | 回退模式用于在插入数据前先把满足条件的数据删除,可实现增量删除,详情请参考 回退模式。 |
目标表
1.新建表时,支持添加字段别名到数据库
支持的数据库有:MYSQL、INFOBRIGHT、DB2、ORACLE、POSTGRESQL、GREENPLUM、SYBASE、GBASE(8a版本)、DAMENG(7版本)、CLICKHOUSE、GAUSS100。
CLICKHOUSE、GAUSS100支持添加字段别名到数据库,但在数据源表不显示已有的注释。
2.当用户选中的目标表的order by字段跟主键字段不一致时,用户可通过该节点重新建表指定主键,或者通过数据库中将该表的主键字段更改为order by字段一致。
3. 当数据源为 ClickHouse ,且当前选中的目标表无主键时,则需要用户手动指定更新依据字段。
否则节点将会执行失败,提示信息如下:
4.如果数据源连的是ClickHouse集群环境,支持新建 分布式表、副本表、物理表。
分布式表和副本表的集群名,默认是读数据源连接字符串中的集群名称,用户可以手动修改:
分片集群的数据源连接字符串的属性名:clusterName
副本集群的数据源连接字符串的属性名:clusterReplicaName
回退模式
回退模式用于在插入数据前先把满足条件的数据删除,可实现增量删除。
- 无(默认);
- 执行前删除数据:根据填写的删除sql语句条件,可实现在插入数据前先把满足条件的数据删除掉。
关系目标表(追加)、关系目标表(插入或更新)节点支持回退模式功能。
在参数设置区中,回退模式选择”执行前删除数据“,在删除sql语句框中填写删除语句(条件SQL使用表头真名)。
如上图,根据条件会先删除”PRODUCTID<5“的数据,然后根据节点功能更新、追加数据:关系目标表(追加)节点会直接追加新增的数据;关系目标表(插入或更新)节点会先更新原有的数据,然后再插入新增的数据。
在回退模式填写SQL语句时,由于GuassDB 200数据库中默认字段为小写,所以字段为大写需要添加双引号才能生效。
应用场景:用户在进行ETL调度时,发现某天调度的数据有问题,需要进行重跑(把之前已经入库的数据删除再插入),可以使用此功能可以先把入库的数据删除,再将新数据追加到目标表中。
节点高级设置
功能入口,如下图:
配置界面,如下图。配置说明:
QUERY_JDBC_FETCHSIZE为引擎内读取一次数据的批次、对性能有较大影响,若需要根据数据库不同环境配置JDBCl连接的属性,需要带上connprop.(注意有点:.)的前缀。且大小写严格区分