Smartbi提供了3种方式用于数据的输出,分别是关系目标表(追加)、关系目标表(覆盖)、关系目标表(插入或更新),支持将数据导出到目标库中。

关系目标表

概述

关系目标表通过追加、覆盖、插入或更新的方式将结果数据保存到Smartbi的关系数据源中。

类型说明

在原数据的基础上增加新的数据。

用新的数据对原数据进行覆盖。

根据数据库表主键进行数据的插入或更新,若主键相同,则更新数据,否则插入数据


目前支持Infobright、ClickHouse、Vertica、Oracle、MySQL、DB2、MSSQL、PostgreSQL、GuassDB 100、GuassDB 200、Greenplum、星环(用户名密码方式)、达梦、GBase、Sybase、MariaDB、MonetDB、starRocks(社区版2.2.2)、SelectDB、TIDB、MogDB、PanWeiDB、YMatrix、

磐维、ALIYUN_MAX_COMPUTE(需使用我们调整后的驱动包



输入输出

输入只有一个输入端口,用于将接收到的结果数据存储到指定库中。
输出没有输出端口。

参数配置

关系目标源(追加)的参数:

关系目标源(覆盖)的参数:

关系目标源(插入或更新)的参数:

参数说明如下:

参数说明
数据源选择数据源,这些数据源是在Smartbi中连接的关系数据源。
SCHEMA在选择的数据源中选择SCHEMA。

选择数据源和SCHEMA之后,可以选择新建一张表,也可以在下拉框中选择已有的表,详情请参考 目标表

节点高级设置

用于配置JDBC写入数据时的connection、batchsize、写入最大并发数等属性详,请参考 节点高级设置 。

回退模式

回退模式用于在插入数据前先把满足条件的数据删除,可实现增量删除,详情请参考 回退模式

目标表

1.新建表时,支持添加字段别名到数据库

支持的数据库有:MYSQL、INFOBRIGHT、DB2、ORACLE、POSTGRESQL、GREENPLUM、SYBASE、GBASE(8a版本)、DAMENG(7版本)、CLICKHOUSE、GAUSS100。

CLICKHOUSE、GAUSS100支持添加字段别名到数据库,但在数据源表不显示已有的注释


2.当用户选中的目标表的order by字段跟主键字段不一致时,用户可通过该节点重新建表指定主键,或者通过数据库中将该表的主键字段更改为order by字段一致。


3. 当数据源为 ClickHouse ,且当前选中的目标表无主键时,则需要用户手动指定更新依据字段。

否则节点将会执行失败,提示信息如下:


4.如果数据源连的是ClickHouse集群环境,支持新建 分布式表、副本表、物理表。

分布式表和副本表的集群名,默认是读数据源连接字符串中的集群名称,用户可以手动修改:

分片集群的数据源连接字符串的属性名:clusterName

副本集群的数据源连接字符串的属性名:clusterReplicaName


5.如果数据源连的是星环数据库时,支持建orc非分区事务表

分桶字段默认为第一个非decimal类型的字段,分桶数目默认为1,两者用户均可根据实际情况,自行修改调整。

  • 产品从10.5.15版本及以上才支持星环建表功能。
  • 星环数据库认证方式必须是用户名和密码方式。
  • 如果是数据量特别大的表,建议客户建表时要根据实际业务场景手工调整分桶字段和分桶数,不要使用默认值。分桶表一旦建立,后续星环数据库不支持再对该表进行分桶处理。

回退模式

回退模式用于在插入数据前先把满足条件的数据删除,可实现增量删除。

关系目标表(追加)、关系目标表(插入或更新)节点支持回退模式功能。

在参数设置区中,回退模式选择”执行前删除数据“,在删除sql语句框中填写删除语句(条件SQL使用表头真名)。

如上图,根据条件会先删除”PRODUCTID<5“的数据,然后根据节点功能更新、追加数据:关系目标表(追加)节点会直接追加新增的数据;关系目标表(插入或更新)节点会先更新原有的数据,然后再插入新增的数据。

在回退模式填写SQL语句时,由于GuassDB 200数据库中默认字段为小写,所以字段为大写需要添加双引号才能生效。

应用场景:用户在进行ETL调度时,发现某天调度的数据有问题,需要进行重跑(把之前已经入库的数据删除再插入),可以使用此功能可以先把入库的数据删除,再将新数据追加到目标表中。 


节点高级设置

功能入口,如下图:


配置界面,如下图。配置说明见注释: