1、功能入口
1）、【新建模型】并且在模型中增加 【ETL高级查询】。
2）、进入到 ETL高级查询：
- 先从左侧拖入【Excel文件】，上传本地excel文件，点击执行该节点。示例数据订单数据.xlsx
- 拖入【读取Excel sheet】节点，再 执行该节点：
- 拖入【列选择】组件，连接组件，再执行该节点：
- 拖入【派生列】，连接组件，再 执行该节点：
- 点击【派生列配置】，进入配置面板，输入相关SparkSQL函数，参考：2、函数说明
2、函数说明
| 1 | 函数 | 描述 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 2 | add_months(start_date, num_months) | 函数名称：add_months(日期字段, 月数)： 函数说明： 返回指定日期前或者后几个月；比如根据订单日期获取上月、获取下月。 示例：在派生列节点输入add_months(日期字段, 月数)，替换成相应字段，如下图： 1、下月：add_months([订单时间],1)
2、上月：add_months([订单时间],-1)
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 3 | date_add(start_date, num_days) | 函数名称：date_add(日期字段, 天数)： 函数说明： 返回指定日期前或者后几天；比如根据订单日期获取昨天、获取明天。 示例：在派生列节点输入date_add(日期字段, 天数)，替换成相应字段，如下图： 1、昨天：date_add([订单日期],-1)
2、明天：date_add([订单日期],1)
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 4 | date_format | 函数名称：date_format(日期字段, 格式)： 函数说明： 修改日期格式，对时间字段进行格式化。 示例：
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5 | date_sub | 从日期减去天数 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 6 | date_trunc | 返回截断为指定单位的日期 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 7 | datediff | 返回日期之间的天数差 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 8 | day, dayofmonth | 返回月中某日 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 9 | dayofweek | 返回星期几(1-7) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 10 | dayofyear | 返回年中的日 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 11 | from_unixtime | 以Unix时间返回日期 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 12 | from_utc_timestamp | 以UTC时间返回日期 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 13 | hour | 返回输入的小时 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 14 | last_day | 返回日期所属月份的最后一天 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 15 | minute | 返回输入的分钟数 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 16 | month | 返回输入的月份 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 17 | months_between | 月数介于 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 18 | next_day | 返回比输入晚的第一天 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 19 | quarter | 返回输入的季度 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 20 | second | 返回字符串的秒数 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 21 | to_date | 将字符串转换为日期。 注意： 字符串 必须 采用格式 yyyy-mm-ddTHH24:MM:SS. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 22 | to_timestamp | 将字符串转换为时间戳。 注意： 字符串 必须 采用格式 yyyy-mm-ddTHH24:MM:SS. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 23 | to_unix_timestamp | 将字符串转换为Unix时间戳 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 24 | to_utc_timestamp | 将字符串转换为UTC时间戳 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 25 | trunc | 截断日期 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 26 | unix_timestamp | 返回Unix时间戳 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 27 | weekday | 星期几(0-6) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 28 | weekofyear | 返回给定日期在一年中的哪一周 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 29 | year | 返回字符串的年份 |
