页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

ETL高级查询是可以将数据源表或者数据集中的数据进行清洗、聚合、关联和合并等操作,并将加工后的数据输出,能够快速的完成数据准备。

信息
title前置条件

1、使用ETL高级查询的前提必须要先部署好数据挖掘的引擎,否则无法正常使用。

2、ETL高级查询目前只支持抽取模型。

3、如果数据模型原来是直连模式,增加ETL高级查询之后,会强制变成抽取模式。详情可查阅:1、使用 ETL高级查询 的前提必须要先部署好数据挖掘的引擎,否则无法正常使用。

2、ETL高级查询 目前只支持抽取模型。

3、ETL高级查询 暂不支持按次抽取,详情可查看:直连&抽取

4、其他类型转成 ETL高级查询 之后无法再转回去,这是不可逆操作。

5、如果数据模型原来是直连模式,增加ETL高级查询之后,会强制变成抽取模式。详情可查阅:直连&抽取

...

6、关于ETL功能,还可以查看:自助ETL

2

...

生成大宽表

 用 ETL高级查询 生成 大宽表 主要是可以“将不同粒度的指标合并到到一张大宽表,便于用不同维度进行分析”;并且大宽表抽取到  :可以“将不同粒度的指标合并到到一张大宽表,便于用不同维度进行分析”,并且大宽表抽取到 高速缓存库,可以提高性能。

以产品内置northwind 数据库的“订单表”、“产品表”.....为例,生成大宽表。

具体步骤如下:

1、新建模型并且在模型中增加 ETL高级查询 ETL高级查询。

2、进入到 ETL高级查询 ETL高级查询:

  •  先从左侧拖入 关系数据源 节点, 设置好数据源(northwind)、SCHEMA(default)、表名(订单表),再 执行该节点。
  • 然后复制该节点,粘贴3次,分别选择不同的表 “订单详细表”、“产品表”、“产品类别表”。然后复制该节点,粘贴3次,分别在关系数据源配置 选择不同的表 “订单详细表”、“产品表”、“产品类别表”,分别执行。
  • 拖入 多表JOIN  节点,并且把 刚拖入的关系数据源与之进行连接,执行成功之后,再点击 刚拖入的关系数据源与之进行连接,再点击 多表JOIN 节点 下面的 关联设置 ,设置表与表之间的关系;具体的详细设置可查看:,设置表与表之间的关系,具体的详细设置可查看:多表JOIN

Image Removed

...

  • 多表JOIN  执行成功之后连接 输出到MPP。

Image Added

3、界面上所有节点,运行成功之后,可查看输出的 大宽表 的数据

4、生成好大宽表之后,保存到模型中并抽取成功,可以看到在模型中也是输出一张打款表。

2.2 跨库取数

从异构的数据源取数,比如CRM、财务系统、ERP系统,从三种系统中构建一个机构维

2.1 数据合并

当需要把不同来源(不同系统,或不同业务结构)的数据合并到一起时,写SQL UNION的方式需要完全匹配所有目标结构的字段类型、长度、字段名等,当出现某些字段不需要映射时会使SQL脚本报错;这个时候可以通过ETL高级查询的“合并行”节点进行处理,”合并行“是将多张表的数据按行合并成一个新表,缺失的列以“null”值填充

以产品自带northwind数据库的【订单表】、【订单详细表】为示例,进行数据合并,最终效果图如下:

Image Removed

具体的操作步骤如下:

1、创建数据模型并在模型中增加 “ETL高级查询”

  • 先把“关系数据源”节点拖入到画布中,并且给节点配置数据源、SCHEMA、表名;依次选择northwind、default、订单表;
  • 配置好了之后,右键菜单“复制”,复制一个关系数据源节点,重新选择表名:订单详情表;再拖入“合并行”,并且连接起来:如下图

Image Removed

2、 选择“合并行”节点的“选择列”,用于设置各表的字段对应关系,同别名+同数据类型的会默认进行匹配;如果匹配不上默认“忽略”,即显示null;详情可查看:合并行

Image Removed

3、输出到Mpp,执行成功之后,点击【保存】并返回到数据模型;可以看到在模型中生成了一个大宽表:你可以设置及修改查询, 也可以设置与其他查询的关系构建数据模型

Image Removed

...

4、生成好 大宽表 之后,保存 并返回模型,可以在模型中查看大宽表,还支持修改大宽表的字段属性,详情可参考:设置及修改查询

  • ETL高级查询 除了同库多表关联生成大宽表,也可以 跨库多表关联生成大宽表 进行取数,步骤一样(不同的点是 在 关系数据源 配置不同的业务库、SCHEMA、表名),过程不再累述。
  •   另外,ETL还可以实现“行转列”、“列转行”、“全量抽取”等,详情可查看:ETL节点介绍

Image Added

5、完成建模之后,可进行数据分析,详情请参考 可视化与数据分析