第12页,共411页。 显示 4,107 条结果 (0.047 秒)
数据连接-同步表的时候报错:没有找到指定的资源节点
问题描述 数据库表的表结构发生变化,需要同步表到BI系统时,报错没有找到指定的资源节点:SCHEMA.SmartbiUnionDB image2024-4-29_9-36-15.png 解决方案 根据错误提示分析发现是与跨库联合查询有关系,我们找到跨库联合查询的数据库下也有这张表,而且这个数库也未使用跨库联合查询功能,将数据库在跨库联合数据源中移出,在进行表同步时成功。自助ETL-关系数据源
1. 概述 关系数据源是指从Smartbi关系数据源中读取的表数据。 目前支持的数据库: MySQL,Oracle,Clickhouse,DB2,SQL Server,Vertica,Inforbright,Presto,Hive,星环-Inceptor,Postgresql,GreenPlum … 数据源,这些数据源是Smartbi中连接配置好的关系数据源,必填。 SCHEMA 选择SCHEMA,必填。 表名 选择表,必填。 分区设置 把表数据相对平均分成多个分区,抽取程序会尽可能一个分区分配一个线程进行并行抽取,能够极大的提高大数据量情况下的数据抽取性能。详情请参考 。 选择指标管理 ⬝ 创建维表
1 概述 维表是一种数据表,数据表是由表名、表结构和表记录(表数据)等几部分组成。本文将介绍如何创建维表的表名、表结构、表数据。 2 新建维表的表结构 支持通过系统新建表、添加数据库的表和添加SQL查询三种方式创建维表,三种方式的适用场景如下: 系统新建表:无数据仓库,无数据治理,指标模型直接对接原始业务库时,可通过梳理指标和维度关系时,帮助项目建立规范的维表和事实表。 添加数据库的表:有数据仓库,有独立的数据治理团队,数据仓库中已梳理好了规范的维表和事实表。 添加SQL查询:数据库中没有现成且满足要求的表,且又不希望再重新创建和维护新的表,则可使用SQL查询。 2.1 系统新建表 1、点击数据准备关系数据源数据权限
针对关系数据源创建的数据权限。 在关系数据源中通过对查询的目标表设置数据权限,当即席查询、可视化数据集和电子表格中涉及到这个数据源的这些表时,数据权限设置条件会自动启用。 设置数据权限 1、进入数据权限设置页面。 入口一:在关系数据源的更多操作0.jpg,选择 设置数据权限,进入“设置”界面。 15.png 选择需要设置数据权限的表,在表的更多操作0.jpg,选择 设置 ,进入“数据权限设置”界面。 image2020-3-11 16:23:29.png 入口二:在关系数据源下需要设置数据权限的表中选择更多操作0.jpg,选择 设置数据权限,进入“数据权限设置”界面。 16.png 2、选择 添加 按钮,添加抽取数据到动态表(表名不是固定的)
1. 应用场景 数据需要按天存储,每天数据需要存放在当天的日期后缀表中。 2. 实现思路 定义公共参数获取当前日期。 在etl 中定义一个etl 参数引用公共参数。 etl 中把当天的数据覆盖的方式写入到一张临时表。 在目标表(覆盖) 节点的执行后sql 中,根据这张临时表创建当天日期后缀表,日期后缀通过参数进行替换,然后把临时表数据写入到当天日期后缀表。 3. 操作步骤 3.1 定义公共参数获取当前日期 在“运维设置 → 全局资源定义 → 参数定义"中创建一个当前日期的参数。 image2024-12-5_16-9-30.png 注意:数据类型应为其它类型关系数据源数据权限
针对关系数据源创建的数据权限。 在关系数据源中通过对查询的目标表设置数据权限,当即席查询、可视化数据集和电子表格中涉及到这个数据源的这些表时,数据权限设置条件会自动启用。 设置数据权限 1、进入数据权限设置页面。 入口一:在关系数据源的更多操作0.jpg,选择 设置数据权限,进入“设置”界面。 image2020-3-12 18:40:14.png 选择需要设置数据权限的表,在表的更多操作0.jpg,选择 设置 ,进入“数据权限设置”界面。 image2020-3-11 16:23:29.png 入口二:在关系数据源下需要设置数据权限的表中选择更多操作0.jpg,选择 设置数据权限,进入“数据权限设置”界面Clickhouse中如何查询落地到磁盘中的表的大小
(本文档仅供参考,因涉及到清理数据库的数据,如不确认查询是否正确可将根据文档查询到的信息反馈至官方支持) 问题 经常有客户咨询MPP占用了很多的磁盘空间,该怎么清理MPP占用的空间? 解决方案 如若是和bi相关的,通常是由于以下几种原因生成: 1、生成的抽取自动备份的表太多,占用的空间较多; 2、历史遗留的一些数据异常的表没来及得清除; 3、抽取临时表没有及时清理掉。 方案一 1、使用jdbc连接方式的数据库工具先连接mpp,然后执行DLL语句操作。 1.1先从smartbi.war/smartbi/WEB-INF/lib获取到连接CH所需的驱动(可能不同版本后面jar的小版本号会有点不一样,前面名字是一样关系数据源连接
是指通过“数据库驱动程序”连接一个本地或远程的关系数据库。 操作入口 1、选择系统导航栏的 数据连接,或者选择系统快捷菜单 数据连接 ,如图: 数据连接入口.png 2、在“数据连接”界面主菜单选择 关系数据库 下的关系数据源 ,如图: 2021-08-02_15-59-06.png 界面介绍 我们在新建关系数据源或是打开数据源,可以看到下面如图的连接信息。 image2022-9-28_15-51-10.png 各配置项说明如下: 配置项 说明 名称 新建的数据源的标示名,必须唯一。 别名 新建的数据源显示的名称。 驱动程序类型 用户交叉表
1 概述 交叉表是表格展现数据的一种基础报表,在行、列上进行同类数据合并,在行和列的交叉处可以对数据进行汇总计算。 1.1 配图建议 行区:一个或多个维度字段; 列区:一个或多个维度字段。 度量区:一个或多个度量字段。 1.2 表格特点 适用于多维度、多指标交叉分析场景,通过多指标交叉分析并进行决策判断。 2 场景示例 以产品内置Demo资源的“订单模型”作为数据来源,介绍交叉表组件的的相关使用场景。 2.1 分组表 1、场景描述:查看各产品类别对应的产品销售情况。 2、在仪表盘中添加一个 交叉表 组件,通过拖拽或勾选的方式将 产品类别、产品名称 添加到 行区 ,将 销售量、销售额 添加到 度量区 ,效果系统监控-模型表管理
模型表管理是提供给系统数据维护人员快速定位数据问题的工具:当基于抽取的数据模型创建自助仪表盘,业务人员发现数据有问题时,数据维护人员可以快速找到问题的原因。 模型表管理支持查询“全量抽取”、“增量抽取”的表;不支持查询“查询动态抽取(原:按次抽取)的表,因为“查询动态抽取”是根据参数或者筛选器备选值进行抽取的,每切换一次就会重新抽取,就是一个表可能有很多份,不知道展示那一份,所以目前不支持查询“查询动态抽取。 功能入口 1、在界面右上角选择点击 xitongjiankong-02.png,在下拉列表中选择 系统监控,如下图: xitongjiankong-01.png 2、在“系统监控”界面选择 模型表管理