第3页，共87页。 显示 865 条结果 (0.023 秒)
快速创建自助ETL
当您发现，需分析的数据未满足需求，将其转换为数据模型或业务主题前，可通过自助ETL进行数据预处理；接下来将以处理”产品销售系列数据”为例，给您介绍如何快速使用自助ETL。 视频教程可参考快速创建自助ETL.mp4 1、示例描述 公司业务人员在对“产品销售数据”收集整理时，发现存在以下 … 地解决上述问题，将通过自助ETL对订单表、订单明细表进行数据预处理！ 2、入口及界面 Smartbi侧边栏点击数据准备，打开数据准备界面后选择自助ETL，即可开始新建： 入口 ETL界面 image2022-2-26_16-29-25.png自助ETL-界面介绍
ETL工作流示例 ETL工作流必须以数据源为起点，以目标源为终点：从数据源中抽取需要进行处理的数据，通过拖拽内置的预处理方法，之后将处理过的数据存储到目标源中。 image2019-8-6 10:54:55.png 数据源中支持的关系数据源有： oracle、mysql、星环、DB2、gbase 8a … ://wiki.smartbi.com.cn/pages/viewpage.action?pageId=51941725#id-%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98%E6%95%B0%E6%8D%AE%E6%BA%90-%E7%9B%AE%E6%A0%87%E6%BA%90 章节。 功能入口 ETL自助ETL-关系数据源
挑选出数据分布最为均匀的字段。 image2024-7-17_14-29-12.png 分区数量：表示把数据切分成多少个分区，系统会提供默认值，一般不需要修改，系统提供的默认值取决于分配给ETL执行引擎的cpu核数。 采样条数：对表数据进行采样条数，因为全量数据做数据分布计算性能较差，所以只能做数据采样自助ETL
ETL通常是将多来源的异构数据，进行处理后得到具备完整性、一致性的数据模型。 自助ETL模块以工作流的形式实现为库表提取数据模型的语义，通过易于操作的可视化工具，将数据加工成具备语义一致性与完整性的数据模型；也可以增强构建数据模型的能力。 我们通过封装ETL算法，将技术分离，可以实现业务人员进行自助ETL操作。ETL高级查询-界面介绍
ETL高级查询界面介绍如下： 功能入口 新建ETL高级查询入口 在“数据模型”定制界面单击创建私有查询按钮image2022-2-4_20-46-19.png，选择 ETL高级查询：image2022-2-4_21-1-23.png 私有查询转换ETL高级查询入口 在非ETL高级查询的其它私有查询的更多菜单中选择 转换为ETL高级查询：image2022-2-4_21-23-53.png 界面介绍 ETL高级查询界面用于设计定制ETL高级查询，如下图所示：image2021-11-13_18-1-58.png 节点资源区/节点配置区 节点资源区：显示当前流程可拖拽使用的资源，最顶端的文本框支持输入资源自助ETL-循环API
1. 概述 循环API可以实现循环调用API接口，主要使用场景如下： API之间传递数据，详情见API之间如何传递数据 把ETL处理好的数据，循环推送给API接口 循环分页取数，详情见循环分页取数 2. 功能入口 从“添加节点”面板上，把“循环API”拖入到画布中 … 把ETL处理好的数据，循环推送给API接口这个场景。 根据上游数据，一条数据循环一次，循环完所有数据后，退出循环。 循环间隔时间: 是每循环一次，间隔多长时间，在循环下一次，单位是毫秒，默认是0 是否输出映射参数：如果勾选这个选项，就会把映射参数在节点结果中输出，方便跟api响应对应起来 上游数据映射为参数：把上游自助ETL-数据查询
1. 概述 数据查询，是指将选择的Smartbi“数据查询”转换成二维宽表，供后续节点使用。 “数据查询”节点的部分查询类型执行依赖于高速缓存库，如果高速缓存库连接信息未正常配置，该节点无法正常执行。 高速缓存库配置的 url 地址建议使用 ip 方式连接，不推荐使用域名的方式连接。 必选依赖“高速缓存库”的节点(见下图红色框标记)：存储过程查询、生成日期表、java查询，脚本查询； 不依赖“高速缓存库”的节点(见下图蓝色框标记)：“sql查询”，“可视化sql查询”，“模型明细查询”，“模型汇总查询”；其中前面2个（“sql查询”，“可视化sql查询”），如果sql依赖的原始数据库ETL不支持，则还是会依赖“高速缓存库ETL高级查询-演示示例
ETL高级查询工作流 ETL高级查询工作流必须以数据源为起点，以输出到MPP为终点：从数据源中抽取需要进行处理的数据，通过拖拽内置的预处理方法，之后再将处理过的数据存储到目标源中。 image2019-8-6 10_54_55 (1).png 定义ETL高级查询 新建ETL高级查询 数据基础 数据源中 … ETL高级查询 。 image2022-2-16_10-8-59.png 进入“新建ETL高级查询”设计界面。 image2022-2-16_10-34-6.png 数据源 1、将关系数据源节点拖入画布区，在节点配置区设置关系数据源的参数。 image2022-2-16_11-17-31.png 2ETL通过公共参数和in关键字过滤数据
1. 应用场景 在ETL的数据查询或者关系数据源中使用in关键字进行参数过滤。 select * from `cars` where `type` in ('德系','法系','韩系','美系','日系','自主') 2. 实现思路 1、定义公共参数public_param，设置参数默认值和备选值。注意：尽管参数值可以设置很多，但是这里建议加上limit，避免参数值过多。 image2024-8-29_13-48-9.png 2、新建ETL，并定义参数etl_param，并设置类型为参数，参数定义为public_param 3、拖拽数据查询或者关系数据源节点，在where部分添加：列 in (${etlETL数据查询节点使用WITH AS 写法执行报错
（本文档仅供参考） 问题现象： 在etl的数据查询节点写with as的临时表语法的时候etl执行报错：关键字 'WITH' 附近有语法错误 image2025-1-25_11-51-53.png 问题原因： 数据查询节点在etl中执行的时候在原本临时表的sql语句外面再加上一层，如：select * from ( 所写sql ) where 1= 0。最终就会导致整个sql语句执行报错。 出现这个问题主要是部分的数据库临时表需要给一个as命名表名导致的，所以目前仅支持部分数据库使用with as语句，如postgreSql、oracle、selectdb、starrocks、doris、mysql8。不支持
