...
服务器cpu核数 | 分配给etl引擎内存 | 设置值 | 备注 |
---|---|---|---|
小于24 | 内存紧张情况(内存大小(单位G)小于cpu核数): 1核cpu配1G内存(例如:服务器cpu核数16核,分配etl引擎内存8G,那就设置成local[8], 注意:如果这里设置核数大于内存大小(单位为G),容易出现内存溢出) 内存比较充足情况: 1核cpu配置4G内存(例如:服务器cpu核数16核,分配etl引擎内存64G,那就设置成local[16]) | 注意:任何情况,local 后面的数字 都不能设置比服务器cpu核数大 | |
大于等于24 | 大于等于96G | local[24] | 因为设置更多核数,对性能提升有限, 以免并发过大对数据库造成压力过大, 出现稳定性问题。 |
...