不断更新中
置灰功能还在开发中,文档根据功能开发进度更新。
V10版本数据准备的改进点如下:
新增 | 增强 |
---|---|
+【数据准备】数据抽取支持滚动备份一定数量的抽取表
背景介绍
随着计算机技术的不断发展,信息安全的重要性也日益增长,数据备份能够快速恢复系统丢失的数据,有效保护数据的完整性和准确性。因此在V10版本中,产品在抽取数据到高速缓存库后,支持滚动备份一定数量的抽取表,方便突发意外后及时恢复数据,有效提高数据安全。
功能简介
1、在源数据库中抽取原始数据到高速缓存库后,支持在高速缓存库中滚动备份一定数量的抽取表。
在系统运维的 系统选项>高级设置 中, 新增“BACKUP_TAB_RETAIN_NUM”设置项,可设置在数据库中保留的抽取表的个数,默认为5个。
2、在数据抽取设置中新增“排序字段”设置项,用户在进行多线程抽取前先选择排序字段,能够保证抽取的数据准确无误。
注意事项
Infobright数据库不支持此功能。
参考文档
关于数据抽取支持滚动备份一定数量的抽取表,详情请参考 数据抽取备份 。
+【数据准备】自助ETL新增Python脚本节点
背景介绍
随着大数据时代的到来,Python已经在数据处理、数据可视化、机器学习等领域受到广泛应用。V10版本的ETL功能支持用户编写Python脚本,利用其丰富的科学计算扩展库,满足更多数据处理和分析场景,提高生产效率。
功能概述
Python脚本节点,支持用户编写Python代码,以便实现更自由、更高效的数据处理、数据分析操作,丰富了数据建模过程。
参考文档
关于Python脚本的功能,详情请参考 Python脚本 。
+【数据挖掘】支持自动化生成自助ETL实验和物理表,提高操作效率
背景介绍
以前的版本,用户在进行ETL处理之前要将数据从业务库迁移到数仓库,需要手动创建很多张表,重复操作且费时费力。新版本,产品新增ETL自动化功能,可根据用户提供的Excel文件,自动化生成自助ETL实验和物理表,减少重复操作,提高效率。
功能简介
新版本,产品新增ETL自动化工程功能,用户可通过上传Excel文件自动化生成自助ETL实验和物理表。
ETL自动化工程界面如图:
注意事项
ETL自动化工程目前只支持ClickHouse数据库。
^【数据准备】优化SQL语句编辑器
背景介绍
为了提高用户开发效率,增强内容的可阅读性,V10版本对SQL语句编辑器增加了高亮显示关键字、折叠代码、输入自动提示等功能。
功能简介
(1)高亮显示关键字,可折叠括号内的代码,方便用户能一目了然的看到重要内容。
(2)自动提示相关关键字、表、函数等,并支持一键补全,提升用户开发效率。
(3)新增IF函数,满足根据不同的条件输出不同的SQL语句的场景。
同时支持丰富的快捷键(Ctrl+F等),提高功能的易用性。
参考文档
关于SQL语句编辑器的功能,详情请参考 SQL语句编辑器 。
^【数据准备】完善数据抽取日志
背景介绍
随着数据的爆炸性增长,用户需要抽取的数据量越来越大,所消耗的时间也越多。为了能在数据抽取的过程中了解抽取的状态、获得更多的信息,便于系统运维,新版本对数据抽取的日志进行完善。
功能简介
1、打开 系统监控>日志 界面,增加了一些抽取过程中的日志信息,如获取总行数、总耗时、入库百分比等等。
2、在 抽取监控>抽取日志 的日志列表中不再仅限显示“抽取成功”、“抽取失败”,新版本可展示更多的抽取进展、错误信息。
参考文档
关于数据抽取日志,详情请参考 抽取日志 。