(本文档仅供参考)
问题现象
etl某个节点报错Too many open files,服务器修改句柄数配置后还是会有报错
原因
经查询,客户计算节点中配置了local经查询,环境计算节点中配置了local[*] ,就表示所有cpu核数都用上了,cpu越多生成的文件也就越多
处理方案
将此参数调小一点,比如local[8],后执行正常
...
etl某个节点报错Too many open files,服务器修改句柄数配置后还是会有报错
经查询,客户计算节点中配置了local经查询,环境计算节点中配置了local[*] ,就表示所有cpu核数都用上了,cpu越多生成的文件也就越多
将此参数调小一点,比如local[8],后执行正常
...