页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

ETL高级查询界面介绍如下:

目录

功能入口

新建ETL高级查询入口

在“数据模型”定制界面单击创建私有查询按钮Image Modified,选择 ETL高级查询

Image Modified

私有查询转换ETL高级查询入口

在非ETL高级查询的其它私有查询的更多菜单中选择 转换为ETL高级查询

Image Modified

界面介绍

ETL高级查询界面用于设计定制ETL高级查询,如下图所示:

Image Modified

节点资源区/节点配置区

节点资源区:显示当前流程可拖拽使用的资源,最顶端的文本框支持输入资源名称关键字模糊匹配搜索结果。

节点配置区:用于对"画布区"所选资源节点的参数和属性进行配置。该区默认显示当前流程的别名、描述及创建更新时间信息。

关于节点功能的介绍,详情请参考 ETL高级查询-功能节点 。

工具栏

工具栏可对当前流程进行的操作:

Image Modified

这些工具按钮从左至右的说明如下:

按钮

说明

查看历史

Image Modified

用于查看当前ETL高级查询的运行历史信息。

该按钮默认置灰,只有在运行了当前ETL高级查询并保存之后才被激活。

保存

Image Modified

用于保存当前ETL高级查询。

缓存
缓存

缓存

Image Modified

缓存策略:用于设置是否缓存执行过的节点数据。

设置过缓存的ETL高级查询,对于已经执行过节点,再次执行(选择从头执行或节点上右键三种方式执行)时直接从缓存中取数,不需要重新执行一遍,减少用户等待时间。

注意

使用缓存功能需要满足以下条件:

  • 安装部署Hadoop详情请参考 部署Hadoop单机部署Hadoop集群 ;
  • 选择 系统运维>数据挖掘配置>服务引擎 ,配置节点数据hdfs存储目录(缓存节点数据的目录):

Image Modified

清除缓存:点击按钮清除缓存的节点数据。

从头执行

Image Modified

用于从第一个节点执行当前ETL高级查询。

单击下拉键,设置当前ETL高级查询的执行策略:

  • 全量(默认):运行数据源节点包含的全部数据;
  • 小批量:运行节点前1000条数据,当数据量较大时选择小批量运行,可减少用户等待时间。
注意
  1. 小批量功能目前只支持关系数据源与数据查询节点;
  2. 需要配置缓存才能使用小批量功能,请参考 缓存 
  3. 设置为小批量试运行不影响计划任务,计划任务还是按全量执行。


参数设置

Image Modified

用于配置当前ETL高级查询的参数。

Image Modified

详情请参考 数据挖掘-参数设置 。

注意

注意:新增的ETL高级查询,保存查询后才可进行参数设置。


回到模型

返回数据模型主界面。

画布区

用于定制ETL高级查询。

画布工具栏

样式

名称

说明

Image Modified

放大

用于放大画布区域。

Image Modified

缩小

用于缩小画布区域。

Image Modified

原始大小

复原画布区域至默认大小。

Image Modified

定位到节点

用于定位到节点的位置。

Image Modified

撤销

用于撤销拖拽节点、节点连线等操作。

Image Modified

还原

还原相对于撤销而言,对撤销的部分进行还原。


数据预览面板

用于查看节点输出的数据。

Image Modified

打开数据预览面板,点击节点可查看节点输出后的数据。

Image Modified

各项说明如下:

设置项

说明

节点状态

  • 节点执行成功,则数据预览面板显示对应节点的数据预览;

  • 节点未执行或执行报错,则数据预览面板提示“暂无数据”。

列筛选

选择一个或多个列的方式来查看数据。

表头真名/表头别名

选择显示表头真名或别名。

下载

下载预览的数据到本地。

注意

此处会把预览的数据以csv文件的方式下载到本地,不会下载全量数据,数据量最多100条。


ETL抽取日志

入口

Image Added


点击“ETL日志”,进入对应的ETL运行日志。Image Added