页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 6 下一个 »

应用场景

超大数据量抽取性能无法满足需求,需要优化

实施步骤

ETL部署服务器配置

数据抽取性能优化的关键是尽可能多线程并行抽取,多线程就要求有多核cpu,每个线程执行的时候,也需要消耗内存,数据抽取的时候,会有数据落盘,对磁盘容量跟IO性能也有一定要求。

总体而言,越高的服务器配置越能优化出更好的性能,如果服务器配置过低,通过调整其它配置,性能优化空间有限。为了保证有一定优化效果,配置要求:

CPU内存硬盘
8核+32G+300G+


ETL执行引擎配置

为了最大利用服务器硬件资源,ETL执行引擎需要做下面几个配置:

分配内存:

如果不设置,默认只分配了5G,为了充分利用服务器内存,需要手工进行设置


分配CPU:

磁盘空间:


关系数据源节点配置

关系目标表节点配置

其它高级配置

  • 无标签