第10页,共87页。 显示 865 条结果 (0.021 秒)
自助ETL-JSON解析
1. 概述 JOSN解析是为了把JSON结构的数据解析成二维表结构输出,一般应用在下面两个场景: API 取数节点获取到的数据是JSON结构的数据,需要解析成二维表结构输出。 关系数据库表中有JSON结构的数据,需要解析成二维表结构输出。 2. 参数设置 JOSN解析,参数设置界面如下: image2024-6-26_15-3-54.png 2.1 选择列 选择上游节点输出的列,该列必须为JSON结构的数据,不然就会解析失败,如果上游节点是API取数节点,输出列一般是responseContent 2.2 选择JSON节点 选择JSON节点就是设置输出字段跟JSONPath映射关系,解析的时候,根据这个映射关ETL自动化
自助ETL-应用示例
自助ETL-XML解析
1. 概述 XML解析是为了把XML结构的数据解析成二维表结构输出,一般应用在下面两个场景: API 取数节点获取到的数据是XML结构的数据,需要解析成二维表结构输出。 关系数据库表中有XML结构的数据,需要解析成二维表结构输出。 2. 参数设置 XML解析,参数设置界面如下: image2024-6-26_17-48-19.png 2.1 选择列 选择上游节点输出的列,该列必须为XML结构的数据,不然就会解析失败,如果上游节点是API取数节点,输出列一般是responseContent 2.2 选择XML节点 选择XML节点就是设置输出字段跟XPath映射关系,解析的时候,根据这个映射关系把XML结构数据转自助ETL-ES数据源
1. 概述 读取 ElasticSearch 中的表数据,其中表为二维数据表。 2. 节点说明 从“添加节点”面板上,把“ES数据源”拖入到画布中,进行配置。 image2024-12-17_14-53-41.png image2023-12-23_14-4-28.png 1.节点地址: elasticsearch环境地址,如集群多个节点,以逗号隔开。10.10.204.231:9200,10.10.204.232:9200 2.表名: 要读取数据的表名 3.用户名:elasticsearch登陆用户名, 如无需登陆,可以不用填写。 4.密码:elasticsearch登陆密码, 如无需登陆,可以不用填写。 5.自助ETL-Mongo数据源
1. 概述 读取 Mongodb 中的表数据,其中表为二维数据表(多重嵌套等复杂结构的字段暂不支持)。 2. 节点说明 从“添加节点”面板上,把“Mongo”拖入到画布中,进行配置。 image2024-12-17_14-58-29.png 节点参数配置: 数据源:需要在数据连接中先配置好数据源连接并授权,这里才能下拉选择。 集合:选择该数据源中的某个集合。 表名:选择该集合下的某个表。 更新截图ETL开启旧节点
(文档仅供参考) 问题描述: 从V10.5.8升级到V10.5.15以后,发现部分节点做了合并(相关文档介绍:Smartbi V10.5.12-数据准备): 1、新版本的数据清洗合并了旧版本中的空值处理、值替换、数据清理节点; 2、行过滤节点则是将之前的过滤节点和行选择节点合并为新的,整合两个节点的功能 希望开启旧节点选项。 image2023-12-5_10-3-14.png 解决方案: 如非必要,使用新版节点即可,若确实希望使用旧节点,20230818以后的war包(低版本需更新),可在系统选项-高级设置中添加设置项开放自助ETL接口文档
自助ETL案例库
自助ETL-FTP/SFTP数据源
1. 概述 FTP数据源是指通过FTP方式读取数据。 image2023-7-31_17-28-40.png 2. 输入/输出 输入 没有输入端口。 输出 只有一个输出端口,用于输出数据到下一节点资源。 3. 参数配置 image2023-7-31_17-29-52.png 设置说明如下: 参数 说明 协议类型 FTP、SFTP 服务器ip或主机名 连接服务器的地址 服务器端口 连接服务器的端口 用户名 服务器用户名 密码 服务器密码 文件路径 填写读取文件的路径 自动生成表头 表示上传数据时是否生成表头:若上