...
在最新版本中,优化SQL查询超时设置,数据抽取到高速缓存库时不受超时限制,即时设置了超时设置,也能正常抽取。详情可查看:关系数据源连接 。
+ 数据模型抽取支持分区概要设计
...
在最新版本中,数据模型的抽取(全量抽取/增量抽取)支持了分区,这项改进使得处理大数据量的速度大幅提升,不仅加快了数据抽取的速度,还优化了查询性能,让数据分析更加高效、快速。详情可查看:关系数据源连接在最新版本中,数据模型的抽取功能引入了分区支持。这一改进显著提升了大数据量处理的速度,不仅加速了全量和增量数据的抽取过程,还大幅优化了查询性能,让您的数据分析工作更加高效、响应更快。详情可查看:直连&抽取 。
性能对比报告: 硬件配置:内存8G,CPU8核;测试数据库:MySQL 8.0。
场景:在事实表[订单明细表]表中,初始数据量为5KW,分别增量“插入更新”10w”数据的性能情况:
表名称 | 原始数据 | 增量数据 | 是否分区 | 分区设置 | 增量抽取耗时 | 抽取提升效率 |
订单明细表 | 5KW | 10w | 是 | 按照day分区 | 0.7s |
|
否 | 42s |
3.2 自助ETL
+ 作业流新增参数输出节点(示例待删除)
...