(本文档仅供参考)
问题描述
数据库数据存储如下
etl执行之后,对应数据呈现变成了科学计数法,并且落地数据失败。
原因
展示为科学计数法是因为spark针对比较大的double或者float类型会自己转成科学计数法显示,但是并不影响整体计算以及落地数据。如果需要显示也是不用科学计数法,可考虑使用派生列用cast转成decimal类型,但是需要注意长度和精度需要符合数据。
派生列参考示例,具体根据实际修改
而对于落地数据失败,需具体看对应报错,如提示:Data truncation: Out of range value for column 'value' at row 1 则说明数据超出了字段长度,需修改字段类型使得字段能满足对应数据要求。