应用场景
超大数据量抽取性能无法满足需求,需要优化
实施步骤
ETL部署服务器配置
数据抽取性能优化的关键是尽可能多线程并行抽取,多线程就要求有多核cpu,每个线程执行的时候,也需要消耗内存,数据抽取的时候,会有数据落盘,对磁盘容量跟IO性能也有一定要求。
总体而言,越高的服务器配置越能优化出更好的性能,如果服务器配置过低,通过调整其它配置,性能优化空间有限。为了保证有一定优化效果,配置要求:
CPU | 内存 | 硬盘 |
---|---|---|
8核+ | 32G+ | 300G+ |
ETL执行引擎配置
为了最大利用服务器硬件资源,ETL执行引擎需要做下面几个配置:
分配内存:
如果不设置,默认只分配了5G,为了充分利用服务器内存,需要手工进行设置
分配CPU:
磁盘空间: