...
输入 | 没有输入端口。 |
|---|---|
| 输出 | 只有一个输出端口，用于输出数据到下一节点资源。 |
3. 参数配置
设置关系数据源的参数：
设置说明如下：
参数 | 说明 | |
|---|---|---|
| 数据源关系数据源表 * | 选择数据源，这些数据源是Smartbi中连接配置好的关系数据源，必填。从已经连接配置好的关系数据源中选择一张用于抽取数据的表。必填。SCHEMA | |
| 输出字段 | 选择SCHEMA，必填。默认抽取所有字段数据。如果数据量特别大，而表中很多字段又没有用处，建议在这里只选择需要的字段，其他无用字段删除，可以有效提高数据抽取速度。 | |
| 过滤条件 | 选择表，必填。默认抽取所有数据。可以在这里设置过滤条件，只抽取满足条件的部分数据。如果需要增量抽取数据，必须利用此功能，在“过滤条件”中可以使用“参数管理”中配置的参数，从而控制动态的数据过滤条件。 | |
| 分区设置 | 把表数据相对平均分成多个分区，抽取程序会尽可能一个分区分配一个线程进行并行抽取，能够极大的提高大数据量情况下的数据抽取性能。详情请参考 分区设置 。 | |
| 选择列 | 用于筛选节点输出的列，适用于大数据量情况下，提升数据导出速度。 | |
| SQL语句 | 通过SQL语句设置where条件，过滤出表中的数据用于工作流。 | |
| 节点高级设置 | 用于配置JDBC读取数据时的connection以及fetchsizes属性详，请参考 节点高级设置 。优化参数 | 用于配置 JDBC 读取数据时的 connection 以及 fetchsizes 等属性。
QUERY_JDBC_FETCHSIZE 为引擎内读取一次数据的批次（ jdbc的 fetchsize 可以参考网上类似的文档说明 jdbc_fetchsize 说明 ）、对性能有较大影响，若需要根据数据库不同环境配置 JDBC 连接属性，需要带上 connprop. 前缀（注意后面有 . 并大小写严格区分）。 |
| 锚 | ||||
|---|---|---|---|---|
|
4. 分区设置
把表数据相对平均分成多个分区，抽取程序会尽可能一个分区分配一个线程进行并行抽取，能够极大的提高大数据量情况下的数据抽取性能。这里关键在于如何把表数据相对平均分成多个分区，具体按照下面步骤进行：
...
注：OTHER数据源同上使用逻辑，单用户时放入conf\standalone-lib\OTHER 目录。多用户时以 OTHER-数据源连接的真名，新建目录。锚
7. 节点高级设置
功能入口，如下图：
配置界面，如下图。配置说明：
QUERY_JDBC_FETCHSIZE 为引擎内读取一次数据的批次(jdbc的fetchsize可以参考网上类似的文档说明jdbc_fetchsize说明)、对性能有较大影响，若需要根据数据库不同环境配置JDBCl连接的属性，需要带上connprop.（注意有点：.）的前缀。且大小写严格区分。
