页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

在最新版本中,优化SQL查询超时设置,数据抽取到高速缓存库时不受超时限制,即时设置了超时设置,也能正常抽取。详情可查看:关系数据源连接 。


+ 数据模型抽取支持分区概要设计

...

在最新版本中,数据模型的抽取(全量抽取/增量抽取)支持了分区,这项改进使得处理大数据量的速度大幅提升,不仅加快了数据抽取的速度,还优化了查询性能,让数据分析更加高效、快速。详情可查看:关系数据源连接在最新版本中,数据模型的抽取功能引入了分区支持。这一改进显著提升了大数据量处理的速度,不仅加速了全量和增量数据的抽取过程,还大幅优化了查询性能,让您的数据分析工作更加高效、响应更快。详情可查看:直连&抽取 。

性能对比报告: 硬件配置:内存8G,CPU8核;测试数据库:MySQL 8.0。

场景:在事实表[订单明细表]表中,初始数据量为5KW,分别增量“插入更新”10w”数据的性能情况:

表名称

原始数据

增量数据

是否分区分区设置

增量抽取耗时

抽取提升效率

订单明细表

5KW

10w

按照day分区

0.7s


60倍


42s


3.2 自助ETL

+ 作业流新增参数输出节点(示例待删除

...