...
SparkSQL可以用于简化可伸缩的分布式数据集RDD(Resilient Distributed Dataset)的开发,提高开发效率,且执行效率飞快。
...
2 哪些组件用到了SparkSQL
自助ETL\ETL高级查询中的【派生列】、【过滤】以及【SQL脚本】(即将更名为Spark SQL)组件,支持输入spark SQL函数或语句,完成对数据进行处理或查询的任务。
...
3 SparkSQL语法说明
序号 | 分类 | 链接 |
---|---|---|
1 | 数学和统计运算符、函数 | |
2 | 逻辑运算符、条件判断函数 | |
3 | 日期时间函数 | |
4 | 数据类型转换函数 | |
5 | 字符串处理函数 | |
6 | 开窗函数 | 开窗函数 |
7 | 其他函数 | 其他函数 |
...
4 功能入口
1)、【新建模型】并且在模型中增加 【 1、【新建模型】并且在模型中增加 【ETL高级查询】。
2)、 2、进入到 ETL高级查询:
- 先从左侧拖入【Excel文件】,上传本地excel文件,点击执行该节点。示例数据订单数据.xlsx
...