...
详细参考下表进行设置。(注意:这说的核数是指cpu逻辑核数)
服务器cpu核数 | 分配给etl引擎内存 | 设置值 | 备注 | ||
---|---|---|---|---|---|
小于等于4 | 大于等于5G | local[*] | cpu核数较小,保持默认值即可, 表示分配了服务器所有核数 | ||
大于4小于24 | 大于等于5G | 小于24 | 内存紧张情况(内存大小(单位G)小于cpu核数): 1核cpu配1G内存(例如:服务器cpu核数16核,分配etl引擎内存8G,那就设置成local[8], 注意:如果这里设置核数大于内存大小(单位为G),容易出现内存溢出) 内存比较充足情况: 1核cpu配置4G内存(例如:服务器cpu核数16核,分配etl引擎内存64G,那就设置成local[16]) | 注意:任何情况,local 后面的数字 都不能设置比服务器cpu核数大 | |
大于等于24 | 大于等于96G | local[24] | 因为设置更多核数,对性能提升有限, 以免并发过大对数据库造成压力过大, 出现稳定性问题。 |
...