Smartbi提供了3种方式用于数据的输出,分别是关系目标表(追加)、关系目标表(覆盖)、关系目标表(插入或更新),支持将数据导出到目标库中。
关系目标表
概述
关系目标表通过追加、覆盖、插入或更新的方式将结果数据保存到Smartbi的关系数据源中。
类型 | 说明 |
---|---|
在原数据的基础上增加新的数据。 | |
用新的数据对原数据进行覆盖。 | |
根据数据库表主键进行数据的插入或更新,若主键相同,则更新数据,否则插入数据。 |
目前支持Infobright、ClickHouse、Vertica、Oracle、MySQL、DB2、MSSQL、PostgreSQL、GuassDB 100、GuassDB 200、Greenplum、星环(用户名密码方式)、达梦、GBase、Sybase、MariaDB、MonetDB、starRocks(社区版2.2.2)、SelectDB、TIDB、MogDB、PanWeiDB、YMatrix、
磐维、ALIYUN_MAX_COMPUTE(需使用我们调整后的驱动包)、HANA(只支持列式表)
用户需要对数据源拥有编辑权限。
输入输出
输入 | 只有一个输入端口,用于将接收到的结果数据存储到指定库中。 |
---|---|
输出 | 没有输出端口。 |
参数配置
关系目标源(追加)的参数:
关系目标源(覆盖)的参数:
关系目标源(插入或更新)的参数:
参数说明如下:
参数 | 说明 |
---|---|
数据源 | 选择数据源,这些数据源是在Smartbi中连接的关系数据源。 |
SCHEMA | 在选择的数据源中选择SCHEMA。 |
表 | 选择数据源和SCHEMA之后,可以选择目标表。 新建一张表,也可以在下拉框中选择已有的表,详情请参考 |
节点高级设置 | 用于配置JDBC写入数据时的connection、batchsize、写入最大并发数等属性详,请参考 节点高级设置 。 |
回退模式 | 回退模式用于在插入数据前先把满足条件的数据删除,可实现增量删除,详情请参考 回退模式。 |
目标表
1.新建表时,支持添加字段别名到数据库
支持的数据库有:MYSQL、INFOBRIGHT、DB2、ORACLE、POSTGRESQL、GREENPLUM、SYBASE、GBASE(8a版本)、DAMENG(7版本)、CLICKHOUSE、GAUSS100。
CLICKHOUSE、GAUSS100支持添加字段别名到数据库,但在数据源表不显示已有的注释。
2.当用户选中的目标表的order by字段跟主键字段不一致时,用户可通过该节点重新建表指定主键,或者通过数据库中将该表的主键字段更改为order by字段一致。
3. 当数据源为 ClickHouse ,且当前选中的目标表无主键时,则需要用户手动指定更新依据字段。
否则节点将会执行失败,提示信息如下:
4.如果数据源连的是ClickHouse集群环境,支持新建 分布式表、副本表、物理表。
分布式表和副本表的集群名,默认是读数据源连接字符串中的集群名称,用户可以手动修改:
分片集群的数据源连接字符串的属性名:clusterName
副本集群的数据源连接字符串的属性名:clusterReplicaName
5.如果数据源连的是星环数据库时,支持建orc非分区事务表。
分桶字段默认为第一个非decimal类型的字段,分桶数目默认为1,两者用户均可根据实际情况,自行修改调整。
- 产品从10.5.15版本及以上才支持星环建表功能。
- 星环数据库认证方式必须是用户名和密码方式。
- 如果是数据量特别大的表,建议客户建表时要根据实际业务场景手工调整分桶字段和分桶数,不要使用默认值。分桶表一旦建立,后续星环数据库不支持再对该表进行分桶处理。
回退模式
回退模式用于在插入数据前先把满足条件的数据删除,可实现增量删除。
- 无(默认);
- 执行前删除数据:根据填写的删除sql语句条件,可实现在插入数据前先把满足条件的数据删除掉。
关系目标表(追加)、关系目标表(插入或更新)节点支持回退模式功能。
在参数设置区中,回退模式选择”执行前删除数据“,在删除sql语句框中填写删除语句(条件SQL使用表头真名)。
如上图,根据条件会先删除”PRODUCTID<5“的数据,然后根据节点功能更新、追加数据:关系目标表(追加)节点会直接追加新增的数据;关系目标表(插入或更新)节点会先更新原有的数据,然后再插入新增的数据。
在回退模式填写SQL语句时,由于GuassDB 200数据库中默认字段为小写,所以字段为大写需要添加双引号才能生效。
应用场景:用户在进行ETL调度时,发现某天调度的数据有问题,需要进行重跑(把之前已经入库的数据删除再插入),可以使用此功能可以先把入库的数据删除,再将新数据追加到目标表中。
节点高级设置
功能入口,如下图:
配置界面,如下图。配置说明见注释: