...
1、功能入口
1)、【新建模型】并且在模型中增加 【ETL高级查询】。
2)、进入到 ETL高级查询:
- 先从左侧拖入【Excel文件】,上传本地excel文件,点击执行该节点。示例数据订单数据.xlsx
- 拖入【读取Excel sheet】节点,再 执行该节点:
- 拖入【列选择】组件,连接组件,再执行该节点:
- 拖入【派生列】,连接组件,再 执行该节点:
- 点击【派生列配置】,进入配置面板,输入相关SparkSQL函数,参考:2、函数说明
2、函数说明
1 | 函数 | 描述 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
2 | add_months(start_date, num_months) | 函数名称:add_months(日期字段, 数量月数): 函数说明: 返回指定日期前或者后几个月;返回指定日期前或者后几个月;比如根据订单日期获取上月、获取下月。 示例: SELECT add在派生列节点输入add_months(日期字段, 月数),替换成相应字段,如下图: 1、下月:add_months('2023-10-31'[订单时间],1); 2023-11-30 SELECT add_months('2023-10-31' 2、上月:add_months([订单时间],-1);
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3 | date_add(start_date, num_days) | 2023-09-30|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3 | date_add | 在日期中添加天数 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4 | date_format | 修改日期格式函数名称:date_add(日期字段, 天数): 函数说明: 返回指定日期前或者后几天;比如根据订单日期获取昨天、获取明天。 示例:在派生列节点输入date_add(日期字段, 天数),替换成相应字段,如下图: 1、昨天:date_add([订单日期],-1) 2、明天:date_add([订单日期],1) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4 | date_format | 函数名称:date_format(日期字段, 格式): 函数说明: 修改日期格式,对时间字段进行格式化。 示例:
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
5 | date_sub | 从日期减去天数 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6 | date_trunc | 返回截断为指定单位的日期 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7 | datediff | 返回日期之间的天数差 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
8 | day, dayofmonth | 返回月中某日 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
9 | dayofweek | 返回星期几(1-7) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
10 | dayofyear | 返回年中的日 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
11 | from_unixtime | 以Unix时间返回日期 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
12 | from_utc_timestamp | 以UTC时间返回日期 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
13 | hour | 返回输入的小时 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
14 | last_day | 返回日期所属月份的最后一天 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
15 | minute | 返回输入的分钟数 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
16 | month | 返回输入的月份 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
17 | months_between | 月数介于 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
18 | next_day | 返回比输入晚的第一天 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
19 | quarter | 返回输入的季度 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
20 | second | 返回字符串的秒数 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
21 | to_date | 将字符串转换为日期。 注意: 字符串 必须 采用格式 yyyy-mm-ddTHH24:MM:SS. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
22 | to_timestamp | 将字符串转换为时间戳。 注意: 字符串 必须 采用格式 yyyy-mm-ddTHH24:MM:SS. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
23 | to_unix_timestamp | 将字符串转换为Unix时间戳 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
24 | to_utc_timestamp | 将字符串转换为UTC时间戳 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
25 | trunc | 截断日期 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
26 | unix_timestamp | 返回Unix时间戳 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
27 | weekday | 星期几(0-6) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
28 | weekofyear | 返回给定日期在一年中的哪一周 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
29 | year | 返回字符串的年份 |
...