...
信息 | ||
---|---|---|
| ||
目前支持: Mysql,,Oracle,Clickhouse,DB2,SQL Server,Vertica,Inforbright,Presto,Hive,星环-inceptor,Postgresql,GreenPlum,Gauss100,Gauss200,Gbase 8A,Gbase 8S,Gbase 8T,达梦6,达梦7,Sybase,Hana,Aliyun AnalyticDB,Aliyun MaxCompute MariaDB,华为Fusioninsight,Teradata、Teradata_V12、神通(单节点/集群)、Kingbase、Kingbase_V8、Kingbase AnalyticsDB、Informix、Obase、Kylin(麒麟)、Impala、MonetDB、starRocks(社区版2.2.2)、Rapids(博睿)、OceanBase、OceanBase_Oracle、SelectDB、 SparkSQL、Other、TIDB、MogDB、PanWeiDB、YMatrix、磐维。SparkSQL、Other、TIDB、MogDB、PanWeiDB、YMatrix、磐维、ByteHouse。 注: 以上支持数据源范围,仅以V11版本为准,其他版本的支持情况,请移步对应版本的wiki。 1. 某些数据源以Kerberos方式验证登录,当前已全部支持。详情请参考 Kerberos/other驱动放置说明 2.若需自定义业务数据源的驱动版本,详情请参考 自定义驱动放置说明 3.以下数据源未内置驱动,请先放置驱动同自定义驱动放置说明,重启引擎再尝试执行: 达梦8、hive、Kylin(麒麟)、Impala、oceanbase、Aliyun MaxCompute、Rapids(博睿)。 |
...
如果对表的数据比较了解的话,可以换选更加合适的字段作为分区字段,比如这里我们换选LO_ORDERDATE字段作为分区字段:
2. 生成分区条件
如图所示,点击生成分区条件按钮,便根据上面设置的分区数量跟选中的分区字段,生成分区条件。依据这个分区条件,就能把表数据均匀切分成如图所示,点击生成分区条件按钮,便根据上面设置的分区数量跟选中的分区字段,生成分区条件,每个分区条件对应到一个数据分区。
多个分区。
3. 计算分区条数
由于生成的分区条件不确定是否可以把表的数据均匀切分,可以点击计算分区条数按钮进行计算每个分区的记录条数
...
如果觉得数据分区并不均匀,可以对分区条件进行修改,每个分区条件都可以修改,不过这里修改要注意,要保证这些分区条件
能覆盖到所有的数据。
至此,完成了分区设置,以上图的例子,已经比较均匀把数据分层8个分区,执行的时候每个分区就会有对应一个线程对数据进行抽取,至此,完成了分区设置,以上图的例子,已经比较均匀把数据分成8个分区,执行的时候每个分区就会有对应一个线程对数据进行抽取,
总共就有8个线程并行抽取,理论上性能随着并行数量线性提升。
...
2.将所需的jar包以及验证文件(keytab、conf等文件)全部放入. 示例(apache-hive):
3.重启引擎
多用户:客户场存在 同一数据库环境但是不同kerberos验证文件的场景。
...