第6页,共87页。 显示 865 条结果 (0.022 秒)
ETL中将tinyint类型映射成了Boolean类型
(本文档仅供参考) 问题描述: MYSQL原始表的类型是tinyint类型,原始数据该字段有(0,1,2)三个值,但是ETL读入时被转换成Boolean类型,导致用ETL导入后只剩下(0,1)两个值了,这如何解决? image2022-5-11_17-23-35.png 解决方案: 这是由于spark对于 … =false,则在ETL中tinyint类型会映射为integer类型,导入数据可以正常识别(0,1,2)三个值。数据权限设置—数据挖掘和自助ETL
针对数据挖掘和自助ETL的数据源创建的数据权限。 在关系数据源和数据集中通过对查询的目标表设置数据权限,当数据挖掘和自助ETL的数据源导入中涉及到这些表时,数据权限设置条件会自动启用。 下面我们以关系数据源为例来演示如何设置数据权限,数据集也同理。 设置数据权限 1、在数据连接的资源目录区中找到要设置数据 … 。 自助etl权限数据权限设置—数据挖掘和自助ETL
针对数据挖掘和自助ETL的数据源创建的数据权限。 在关系数据源和数据集中通过对查询的目标表设置数据权限,当数据挖掘和自助ETL的数据源导入中涉及到这些表时,数据权限设置条件会自动启用。 下面我们以关系数据源为例来演示如何设置数据权限,数据集也同理。 设置数据权限 1、在数据连接的资源目录区中找到要设置数据 … : image2020-8-14_11-3-38.png 关于更多的数据权限设置,详情请参考 数据权限 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=44500381。 自助etl权限作业流如何识别“外部ETL”跑完状态?
1、概述 在V10.5版本中,识别“外部ETL”跑完状态有以下方法: 1)“源库脚本"节点: 需要写SQL语句并且该节点无法与其他节点关联,需要单独建一个ETL资源,不但操作麻烦而且增加了维护成本。 而V10.5.8,支持”标识“存放在ftp上,也支持”标识“存放在具体的表中,如下图, 扩展了识别方法,操作也更为直观简单,节省了实施成本,确保了数据正确. 未命名文件 (3).png 2、场景举例:通过"ftp方式”检测文件是否存在 某银行项目,客户有自己的ETL工具,会设置时间频率跑定时任务,跑完会把定时任务文件输出到ftp下,并且会生成一个ok.csv文件;如果存在了ok文件,那么则认为ETL脚本执行失败
问题现象: 客户V10.5.15版本,自助ETL中源库SQL脚本执行失败,请问如何解决? 备注:用原生SQL数据集能正常查询 image2023-7-31_16-24-37.png 问题分析: image2023-7-31_16-25-2.png 解决方案: 1.保证smartbi服务器和挖掘引擎都可以访问连接该数据库; 2.去掉数据源JDBC URL后面的 includeSynonyms=false后连接正常。 image2023-7-31_16-27-57.png自助ETL预览窗口取数逻辑
(文档仅供参考) 问题说明 为什么etl预览窗口很快,而数据查询 查询就很慢 image2023-12-11_18-27-55.png 数据查询—sql查询 image2023-12-11_18-26-34.png 原因: etl窗口预览取数逻辑: 1、预览数据在 引擎安装目录\data\middata 目录下以csv格式存储; 2、预览数据存储多少行数据成CSV文件,由如下配置决定; image2023-12-11_18-28-52.png 而数据查询节点查询:其对应sql查询模块的查询,对应有count全表,当全表数据量较大时,sql则较慢,对应和数据库性能相关。 注:如涉及到慢的情况,如多方面因素ETL目标表(覆盖)执行异常时,可rollback复原回原表吗
(文档仅供参考) 问题说明 ETL目标表(覆盖)执行异常时,可rollback复原回原表吗 解决方案 目前ETL目标不支持事务回滚,但可以通过逻辑设计,达到事务的效果,初步方案如下: 1、在ETL前执行【源库SQL脚本】:drop table if exist TMP; create table TMP 2、制作ETL,向TMP中追加数据 3、在作业流中根据作业状态流向不同的【源库SQL脚本】;如果成功,将TMP改名为真目标表名 image2023-10-27_19-13-0.png通过存储过程或 ETL 同步用户
可以通过存储过程或 ETL 定时将第三方系统的用户信息同步到 Smartbi 知识库相关的用户表中。 1 、知识库涉及表概览 同步数据库时涉及到的表如下:(详情见下方“知识库涉及表详细说明”章节) 数据表 含义说明 t_group 用户组表,记录用户组(机构)的信息。 t_user 用户表,记录所有用户信息。 t_group_user 用户组与用户对应表。相关字段:t_user.c_userid、t_group. c_groupid t_role 角色表,记录系统所有角色的信息。相关字段:t_group. c_groupidETL执行节点出现提示信息
(本文档仅供参考) 问题描述: exe安装的ETL, ETL执行节点出现这个错误,是什么原因导致的呢 (提示报错信息:引擎配置系统的相关信息有误!请到系统运维-系统选项-执行引擎下检查或修改系统地址或系统管理员账号或系统管理员密码是否正确!) image2022-3-2_15-11-32.png 解决方案: 步骤1:先检查一下服务是否启动,如果服务启动了,在系统选项—>引擎设置 点击测试连接是否可测试通过: image2022-3-2_15-16-49.png 步骤2:同时需要如下截图的系统账号密码设置为admin账号和admin的密码,保存系统选项的配置,然后再清空系统缓存,再重新操作即可双节点集群环境其中一个环境执行ETL一直在“排队中”
(本文档仅供参考) 问题描述: smartbi是双节点集群环境部署的,etl部署在其中一台,这个节点执行etl是没问题的,但是在另外一个节点执行etl就会一直“排队中” 报的错误是这个:Caused by: java.lang.NoClassDefFoundError: Could not initialize class sun.tools.attach.LinuxVirtualMachine 问题原因: 这个是因为服务器环境变量里面tools.jar和war包里面的tools.jar起冲突导致的。经排查发现服务器是arm架构,用的openjdk,他一般没有tools.jar,我们产品war包为了避免没有这个jar包