第28页,共203页。 显示 2,025 条结果 (0.039 秒)
关系数据源连接
。 默认值为“-1”,表示无限等待。 连接池连接空闲时间(秒) 创建连接池以后,空闲了多久后就丢弃关闭该连接池。 SQL语句允许最大执行时长(秒) 1、当SQL语句执行的时间超过设置的最大执行时长,则自动终止执行,提示查询超时。 默认值为“-1”,表示不限制。填写具体的数字比如30,则代表执行时长如果超过设置的时长,会终止执行并提示。 超时: 是通过驱动调用Statment.setQueryTimeout实现的,只要数据库驱动和数据库服务器支持这个接口,就可以支持。 数据抽取不受超时设置的控制。 校验语句 数据源连接进行校验的SQL语句。包含下面几种方式,默认为获取连接时测试自助ETL-数据查询
”的节点(见下图红色框标记):存储过程查询、生成日期表、java查询,脚本查询; 不依赖“高速缓存库”的节点(见下图蓝色框标记):“sql查询”,“可视化sql查询”,“模型明细查询”,“模型汇总查询”;其中前面2个(“sql查询”,“可视化sql查询”),如果sql依赖的原始数据库ETL不支持,则还是会依赖“高速缓存库 … 。 3. 设置项说明 数据查询各设置项说明如下: 设置项 说明 请选择数据查询类型 可选择类型为:SQL查询、可视化SQL查询、存储过程查询、生成日期表、模型明细查询、模型汇总查询、Java查询、脚本查询等。 SQL查询,相关操作可参考文档 SQL查询; 可视化SQL查询,相关操作可参考文档地图区域
5. 设置数据映射名称(可选) 由于每个地图中,各个区域名称的区域名称是固定的,比如广东省的区域名称为“广东省”。但是实际数据可能是“广东”,“guangdong”,甚至是“510000”等。 因此通过设置数据映射名称,可将实际数据与区域名称进行映射。 数据映射名称格式为: 名称1;名称2;名称3 … : image2021-10-12_16-24-28.png 原理说明 在通过区域标识列数据来匹配地图上的区域时,基本的步骤如下: (1)首先通过区域标识列这个字段的数据,比如“福建”、“广东”这些数据。在地图区域中找到 数据映射名称包含“福建”、“广东”等的地图区域 image2021-10-12_16-25-59.png (2)找到该地表之间的关联关系问题
(本文档仅供参考) 问题说明 目前有用户用V3版本,比如有三个表,A、B、C,A做主表,其他两个表左连接A,现在升级到v8后,有一个变成右连接了,查看SQL,本来是B表在上面,现在是C在上面了。找不到下面定义表的字段导致报错,要如何解决? 问题原因 V3版本生成的SQL虽然看着表之间的关联关系是正常的,但实际表之间是左连接还是右连接在V8以下的版本是随机生成的,但有些数据库是依赖表之间的顺序来自动生成对应的表关系的,可以说本质上表关联关系中的设置其实是没有用的,实际SQL里边的表关联关系有时候是生成左关联有时候生成右关联。为了保证顺序的正确性,在V8版本优化了表之间的关联关系,我们默认【内部】11.1.1_MySQL配置文件说明
' image2025-4-29_9-51-33.png Windows: 通常位于 MySQL 安装目录下的 my.ini 文件 查看当前生效的my.cnf配置文件位置的SQL语句 SELECT info.VARIABLE_NAME, info.VARIABLE_SOURCE … /data/mysql-slow.log 慢查询日志文件路径 long_query_time=10 记录慢查询的时间阈值(秒),当前配置为10s 3.1.4 安全性设置(非必需) 配置名称 配置说明 sql_mode=STRICT_TRANS_TABLES设置方式
根据应用的场景不同,目前多维分析数据权限设置分析三种方式: 多维分析数据权限设置分析三种方式.png :应用于维度信息和用户信息有关联关系的情况。 :应用于针对角色设置和维度之间的权限关系。即哪些角色可以看到哪些维度成员。 :当数据权限设置复杂,映射设置和简单设置无法满足权限要求时,需要使用自定义表达式的方式对权限进行设置则选择高级设置方式。 映射设置 映射设置是指通过将维度信息内容与用户信息内容设置相等的关系而实现对用户数据权限的控制。 在“数据权限设置”界面的设置区中选择 映射设置。 界面介绍 多维分析数据权限设置分析三种方式.png “映射设置”界面的设置项说明如下: 设置项 说明设置方式
根据应用的场景不同,目前多维分析数据权限设置分析三种方式: 多维分析数据权限设置分析三种方式.png :应用于维度信息和用户信息有关联关系的情况。 :应用于针对角色设置和维度之间的权限关系。即哪些角色可以看到哪些维度成员。 :当数据权限设置复杂,映射设置和简单设置无法满足权限要求时,需要使用自定义表达式的方式对权限进行设置则选择高级设置方式。 映射设置 映射设置是指通过将维度信息内容与用户信息内容设置相等的关系而实现对用户数据权限的控制。 在“数据权限设置”界面的设置区中选择 映射设置。 界面介绍 多维分析数据权限设置分析三种方式.png “映射设置”界面的设置项说明如下: 设置项 说明转换规则
在哪个数据源中创建,在进入“转换规则”定制界面前需要确定。 转换类型 表示设置转换规则的类型,主要有:SQL和静态列表。默认是“SQL”。 若选择SQL,在“转换规则”文本区中需要输入SQL表达式,并确定其实际值和显示值。 若选择静态列表,“转换规则”文本区变成静态列表形式,需要列出所有的显示值及对应的真实值。 转换规则 设置转换规则的主要区域,根据转换类型而不同。 实际值和显示值 与SQL转换类型结合使用。 批量导入 与静态列表结合使用。 描述 转换规则的描述信息,显示在资源目录区的提示信息中。 静态列表 静态列表是通过手动输入或是自助ETL-XML解析
如下: image2024-6-26_17-48-19.png 2.1 选择列 选择上游节点输出的列,该列必须为XML结构的数据,不然就会解析失败,如果上游节点是API取数节点,输出列一般是responseContent 2.2 选择XML节点 选择XML节点就是设置输出字段跟XPath映射关系,解析的时候,根据这个映射关系把XML结构数据转为二维表。 image2024-6-26_17-51-23.png 如图所示,左边是把XML数据按照树状展示,方便选择,这里展现的XML数据是上游节点第一行的数据。 勾选树节点后,点击生成路径,会把输出字段跟XPath映射关系生成在右边列表中,同时可以进行修改,对XPath 的修改需要按照XPath 表达式规范ETL自动化工程
资源名称 命名规则应用后,显示的命名效果。 库表列表 显示用户所选的来源数据源的库表列表,支持通过表名关键字搜索。 来源表与目标表的映射关系列表 显示来源数据源中库表字段与目标数据源库表字段的映射关系。 3、以上配置完成后,单击右下角 下载 按钮,将配置好的内容以Excel模板的介质存储到本地 … → 字段的结构排列 列举目标数据源的对应目标表中所有写入的字段名称、字段类型、主键信息等 表清单 列举本次ETL自动化中创建的所有ETL资源,及其中分别用到的数据源和目标源信息 字段映射清单 列举来源表和目标表之间的所有字段映射关系 详细说明见模板中的 0-使用说明 和 模板检查规则 标签页