注意:(V10版本于2021年4月份发布,新特性列表中:+表示新增;^表示增强)

置灰功能还在开发中,文档根据功能开发进度更新。


V10版本数据准备的改进点如下:

新增

+【数据准备】数据抽取支持滚动备份一定数量的抽取表

+【数据准备】自助ETL新增Python脚本节点

+【数据准备】支持ETL自动化工程功能,项目实施流程标准化



+【数据准备】数据抽取支持滚动备份一定数量的抽取表


背景介绍

随着计算机技术的不断发展,信息安全的重要性也日益增长,数据备份能够快速恢复系统丢失的数据,有效保护数据的完整性和准确性。因此在V10版本中,产品在抽取数据到高速缓存库后,支持滚动备份一定数量的抽取表,方便突发意外后及时恢复数据,有效提高数据安全。

功能简介

1、在源数据库中抽取原始数据到高速缓存库后,支持在高速缓存库中滚动备份一定数量的抽取表。

在系统运维的 系统选项>高级设置 中, 新增“BACKUP_TAB_RETAIN_NUM”设置项,可设置在数据库中保留的抽取表的个数,默认为5个。

2、在数据抽取设置中新增“排序字段”设置项,用户在进行多线程抽取前先选择排序字段,能够保证抽取的数据准确无误。

注意事项

Infobright数据库不支持此功能。

参考文档

关于数据抽取支持滚动备份一定数量的抽取表,详情请参考 数据抽取备份 。



+【数据准备】自助ETL新增Python脚本节点


背景介绍

随着大数据时代的到来,Python已经在数据处理、数据可视化、机器学习等领域受到广泛应用。V10版本的ETL功能支持用户编写Python脚本,利用其丰富的科学计算扩展库,满足更多数据处理和分析场景,提高生产效率。

功能概述

Python脚本节点,支持用户编写Python代码,以便实现更自由、更高效的数据处理、数据分析操作,丰富了数据建模过程。

参考文档

关于Python脚本的功能,详情请参考 Python脚本 。



+【数据准备】支持ETL自动化工程功能,项目实施流程标准化


背景介绍

V10版本新增ETL自动化工程功能,能够将项目实施流程标准化,以后的项目都会按照同种标准流程执行,可带来以下几点优势:

  • 降低项目实施门槛:非专业人员也可以按照标准流程完成项目实施;
  • 提高项目实施效率:不需要人工实施就可以自动化生成自助ETL实验和物理表。

功能简介 

新增ETL自动化工程功能,用户可通过上传Excel文件自动化生成自助ETL实验和物理表。

ETL自动化工程界面如图:

注意事项

ETL自动化工程目前只支持ClickHouse数据库。

参考文档

关于ETL自动化工程功能,详情请参考 自助ETL-ETL自动化工程 。