页面树结构
转至元数据结尾
转至元数据起始

ETL高级查询界面介绍如下:

功能入口

新建ETL高级查询入口

在“数据模型”定制界面单击创建私有查询按钮,选择 ETL高级查询

私有查询转换ETL高级查询入口

在非ETL高级查询的其它私有查询的更多菜单中选择 转换为ETL高级查询

界面介绍

ETL高级查询界面用于设计定制ETL高级查询,如下图所示:


节点资源区/节点配置区

节点资源区:显示当前流程可拖拽使用的资源,最顶端的文本框支持输入资源名称关键字模糊匹配搜索结果。

节点配置区:用于对"画布区"所选资源节点的参数和属性进行配置。该区默认显示当前流程的别名、描述及创建更新时间信息。

关于节点功能的介绍,详情请参考 ETL高级查询-功能节点 。


工具栏

工具栏可对当前流程进行的操作:

这些工具按钮从左至右的说明如下:

按钮

说明

查看历史

用于查看当前ETL高级查询的运行历史信息。

该按钮默认置灰,只有在运行了当前ETL高级查询并保存之后才被激活。

保存

用于保存当前ETL高级查询。

缓存

缓存策略:用于设置是否缓存执行过的节点数据。

设置过缓存的ETL高级查询,对于已经执行过节点,再次执行(选择从头执行或节点上右键三种方式执行)时直接从缓存中取数,不需要重新执行一遍,减少用户等待时间。

使用缓存功能需要满足以下条件:

  • 安装部署Hadoop详情请参考 部署Hadoop单机部署Hadoop集群 ;

  • 选择 系统运维>数据挖掘配置>服务引擎 ,配置节点数据hdfs存储目录(缓存节点数据的目录):

清除缓存:点击按钮清除缓存的节点数据。

从头执行

用于从第一个节点执行当前ETL高级查询。

单击下拉键,设置当前ETL高级查询的执行策略:

  • 全量(默认):运行数据源节点包含的全部数据;

  • 小批量:运行节点前1000条数据,当数据量较大时选择小批量运行,可减少用户等待时间。

  1. 小批量功能目前只支持关系数据源与数据查询节点;

  2. 需要配置缓存才能使用小批量功能,请参考 缓存 

  3. 设置为小批量试运行不影响计划任务,计划任务还是按全量执行。

参数设置

用于配置当前ETL高级查询的参数。

详情请参考 数据挖掘-参数设置 。

注意:新增的ETL高级查询,保存查询后才可进行参数设置。

回到模型

返回数据模型主界面。

画布区

用于定制ETL高级查询。


画布工具栏

样式

名称

说明

放大

用于放大画布区域。

缩小

用于缩小画布区域。

原始大小

复原画布区域至默认大小。

定位到节点

用于定位到节点的位置。

撤销

用于撤销拖拽节点、节点连线等操作。


还原

还原相对于撤销而言,对撤销的部分进行还原。


数据预览面板

用于查看节点输出的数据。


打开数据预览面板,点击节点可查看节点输出后的数据。|

各项说明如下:

设置项

说明

节点状态

  • 节点执行成功,则数据预览面板显示对应节点的数据预览;

  • 节点未执行或执行报错,则数据预览面板提示“暂无数据”。

列筛选

选择一个或多个列的方式来查看数据。

表头真名/表头别名

选择显示表头真名或别名。

下载

下载预览的数据到本地。

此处会把预览的数据以csv文件的方式下载到本地,不会下载全量数据,数据量最多100条。


ETL抽取日志

入口

点击“ETL日志”,进入对应的ETL运行日志。

  • 无标签