页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

SparkSQL可以用于简化可伸缩的分布式数据集RDD(Resilient Distributed Dataset)的开发,提高开发效率,且执行效率飞快。

...

2 哪些组件用到了SparkSQL

自助ETL\ETL高级查询中的【派生列】、【过滤】以及【SQL脚本】(即将更名为Spark SQL)组件,支持输入spark SQL函数或语句,完成对数据进行处理或查询的任务。

序号功能模块组件
1自助ETL【派生列】【过滤】以及【SQL脚本】
2数据模型-ETL高级查询【派生列】【过滤】以及【SQL脚本】

...

3 SparkSQL语法说明

序号分类链接

1

数学和统计运算符、函数

数学和统计运算符、函数

2

逻辑运算符、条件判断函数

逻辑运算符、条件判断函数

3

日期时间函数

日期时间函数

4

数据类型转换函数

数据类型转换函数

5

字符串处理函数

字符串处理函数

6开窗函数开窗函数
7其他函数其他函数

...

4 功能入口

 1)、【新建模型】并且在模型中增加 【 1、【新建模型】并且在模型中增加 【ETL高级查询】。

 2)、 2、进入到 ETL高级查询:

  • 先从左侧拖入【Excel文件】,上传本地excel文件,点击执行该节点。示例数据订单数据.xlsx

...