页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

应用场景

超大数据量抽取性能无法满足需求,需要优化

实施步骤

ETL部署服务器配置

数据抽取性能优化的关键是尽可能多线程并行抽取,多线程就要求有多核cpu,每个线程执行的时候,也需要消耗内存,数据抽取的时候,会有数据落盘,对磁盘容量跟IO性能也有一定要求。

总体而言,越高的服务器配置越能优化出更好的性能,如果服务器配置过低,通过调整其它配置,性能优化空间有限。为了保证有一定优化效果,配置要求:

CPU内存硬盘
8核+32G+300G+


ETL执行引擎配置

为了最大利用服务器硬件资源,ETL执行引擎需要做下面几个配置:

分配内存:

分配CPU:

磁盘空间:


关系数据源节点配置

关系目标表节点配置

其它高级配置