页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 11 下一个 »

关系数据源

概述

关系数据源是指从Smartbi关系数据源中读取的库表数据。

支持数据库

目前支持:

Mysql,,Oracle,Clickhouse,DB2,SQL Server,Vertica,Inforbright,Presto,Hive,星环-inceptor,Postgresql,GreenPlum,Gauss100,Gauss200,Gbase 8A,Gbase 8S,Gbase 8T,达梦6,达梦7,Sybase,Hana,Aliyun AnalyticDB,Aliyun MaxCompute

MariaDB,华为Fusioninsight,Teradata、Teradata_V12、神通(单节点/集群)、Kingbase、Kingbase_V8、Kingbase AnalyticsDB、Informix、Obase、Kylin(麒麟)、Impala、MonetDB、starRocks(社区版2.2.2)、Rapids(博睿)、OceanBase、OceanBase_Oracle、SelectDB、

SparkSQL、Other、TIDB、MogDB、PanWeiDB、YMatrix


注:

以上支持数据源范围,仅以V11版本为准,其他版本的支持情况,请移步对应版本的wiki。

某些数据源以Kerberos方式验证登录,当前已全部支持。详情请参考 Kerberos/other驱动放置说明

输入/输出

输入

没有输入端口。
输出只有一个输出端口,用于输出数据到下一节点资源。

参数配置

设置关系数据源的参数:

设置说明如下:

参数

说明

数据源选择数据源,这些数据源是Smartbi中连接配置好的关系数据源,必填。
SCHEMA选择SCHEMA,必填。
表名选择表,必填。
分区设置

把表数据相对平均分成多个分区,抽取程序会尽可能一个分区分配一个线程进行并行抽取,能够极大的提高大数据量情况下的数据抽取性能。详情请参考 分区设置 。

选择列

用于筛选节点输出的列,适用于大数据量情况下,提升数据导出速度。

SQL语句通过SQL语句设置where条件,过滤出表中的数据用于工作流。
节点高级设置

用于配置JDBC读取数据时的connection以及fetchsizes属性详,请参考 节点高级设置 。


分区设置

把表数据相对平均分成多个分区,抽取程序会尽可能一个分区分配一个线程进行并行抽取,能够极大的提高大数据量情况下的数据抽取性能。

如图设置分区字段“累计治愈”的分区数量为4,最小值为1,最大值为20,则系统会以(-∞,5)、[5,10)、[10,15)、[15,+∞)这4个区间来并行读取数据,提升数据抽取性能。

  • 分区字段(必填):分区字段为数值型(不支持浮点型)、日期类型。
  • 分区数量(必填):设置抽取分区的数量,正整数。
  • 分区字段最小值/分区字段最大值(必填):在设置的最小值和最大值的区间中抽取数据。

分区字段的选取:

  1. 选择的字段尽可能把数据按照不同区间,相对平均分成多个分区。

  2. 在分区表中,可以选择创建分区表时选择的字段作为分区字段。如果不是分区表,建议选取一些比较有区分度的字段。例如在一张用户表中,“年龄”比“性别”字段更具有区分度,因此可以选择“年龄”作为分区字段。

使用场景:在一家互联网类企业中,用户使用产品的日志表按天或按季度做成的分区表,可以通过分区抽取数据,提升抽取性能。


Kerberos/other驱动放置说明

使用前请确保数据源连接界面测试连接通过,并在挖掘引擎所在服务器配置好了需要的IP映射。


常规使用:一个数据源单kerberos用户

操作步骤

1.找到目录conf\standalone-lib(如Impala则对应目录是IMPALA-Kerberos)

2.将所需的jar包以及验证文件(keytab、conf等文件)全部放入.

3.重启引擎


多用户:客户场存在 同一数据库环境但是不同kerberos验证文件的场景。

操作步骤:假设以下两个数据源连接:first_hive 、second_hive

1.找到目录conf\standalone-lib

2.新建以下两个目录名称:HADOOP_HIVE-Kerberos-first_hive、HADOOP_HIVE-Kerberos-second_hive

3.放入对应的jar包和验证文件

4.重启引擎

注:OTHER数据源同上使用逻辑,单用户时放入conf\standalone-lib\OTHER 目录

多用户时以 OTHER-数据源连接的真名,新建目录

节点高级设置

功能入口,如下图:


配置界面,如下图。配置说明:
QUERY_JDBC_FETCHSIZE为引擎内读取一次数据的批次、对性能有较大影响,若需要根据数据库不同环境配置JDBCl连接的属性,需要带上connprop.(注意有点:.)的前缀。大小写严格区分


  • 无标签