...
为了满足更多项目的场景,在新版本中,自助ETL支持更多的数据源和目标数据源类型。
- 新增支持的数据库:TiDB、PanWeiDB、YMatrix、阿里云MaxCompute、Elasticsearch、MongoDB;新增API取数节点,用于读取API数据;TiDB、PanWeiDB、YMatrix;
- 目标源连接星环数据库时,支持新建表到星环数据库中。
+ 合并行节点中新增集合运算功能
在合并行的场景中,需要通过不同的集合操作方式,满足多种合并需求场景。在新版本中合并行的集合操作配置提供四种操作:交集、差集、并集和异或。
^ 合并行优化选择列弹窗新增列匹配机制
为了使列匹配更加灵活和易用,新增自定义列匹配机制功能。列匹配提供以下方式:按别名自动匹配、按别名自动匹配、按位置自动匹配和手动配置字段。
+ 列选择/转行节点新增正则匹配
在列数较多或者前节点输出列不固定的情况下,都可以使用正则匹配的方式进行列选择,使选择列方式更加灵活。
+ 数据处理支持XML解析
为了丰富ETL的数据处理节点功能,新增了XML解析,用于XML的解析。
^ 小批量支持自动运行
为了简化操作流程,在小批量配置情况下,大部分数据源支持自动执行节点。
- 在首次配置数据源节点时,如果读取配置为小批量且该数据源支持小批量,那么配置完数据源节点后会自动执行节点;
- 在配置为小批量且该数据源支持小批量前提下,修改数据源节点参数后,也会自动执行节点。
^ 全局执行增加是否使用缓存选项
在全部执行时,希望能够不使用缓存,否则数据会没有任何变化。
ETL全局执行增加执行策略:不使用缓存执行、使用系统默认设置。在不使用缓存时,执行会重新运行所有节点。
^ 历史记录支持恢复
在实际项目场景中,经常会遇到ETL最新图被修改问题,如果想恢复之前的图,只能重新拖一遍,比较繁琐。
在新版本中,支持在历史信息中恢复按钮则把该历史覆盖掉当前ETL流程图,且支持导出历史ETL流程图。
^ 画布工具栏中移动画布按钮支持画布拖拽
通过滚动条来调整ETL流程图的位置操作起来不方便,为了简化拖拽方式,增加鼠标的拖拽方式。当画布中的鼠标指针为十字箭头时,表示当前为拖拽功能。
^ 节点目录支持改名称
在实际项目场景中,经常会有修改节点目录名称的需求,增加节点目录修改名称满足了定制化需求。支持对节点树进行目录新建、名称修改、移动、隐藏操作。
+ SQL函数支持通过EXCEL导入方式增加
Spark SQL函数列表增加EXCEL导入功能,方便用户进行维护,如果需要进一步丰富内置Spark SQL函数,可以通过此方法补充更多Spark SQL函数。
+ ETL增强或优化的功能
...
2.4 交互式仪表盘
^ 形组件支持使用命名集字段作图
...