第48页，共605页。 显示 6,045 条结果 (0.071 秒)
如何进行数据的增量抽取
1. 概述 我们在建设数据仓库、数据集市的过程中，通常使用 ETL 工具把数据从“源库”抽取到“目标库”。“源库”中的历史数据，通常数据量特别大，比如有几千万甚至数亿条记录，而历史数据通常又不发生变化。在抽取数据的过程中，如果我们选择全量抽取，对于那些根本不会发生变化的历史数据，也抽取一遍，不仅没有任何意义，还要浪费大量的资源和时间。尤其是当有数亿条数据、并且需要进行复杂的数据加工时，很可能要耗费数小时，根本无法满足数据加工的时效性要求。因此，我们可以选择在进行 ETL 抽取的过程中，对数据进行 增量抽取，只抽取发生变化的部分。这样就可以让数据抽取的数据量变少，数据加工的时间变短，从而满足时效性要求。 2. 场景说明 我们即席查询 ⬝ 过滤数据
选择数据是选择了数据来源，数据源的数据一般是“大而全”的业务数据，这时需要对数据进一步过滤，找到实际业务所需的具体数据。 比如你是华南地区的销售经理主管，更多的是关注华南地区销售情况，此时你需要对地区作过滤。本文将介绍明细查询如何作数据过滤。 1 操作入口 在数据面板的数据资源树中，拖拽字段和参数到 过滤条件 … 器中只能有华南地区的省份。 筛选器样式：筛选器默认自动样式，也可以选择样式切换，包括列表、下拉框、文本及日期； guolvtiaojianshezhi.png 通过联动过滤条件后，还可以对过滤的结果数据，作进一步筛选过滤，如下图。在结果数据中，只保留或者排除华南地区的销售数据权限 - 电子表格没有数据集的引用权限还是能正常看到数据
（本文档仅供参考） 问题描述： 在数据集上右键查看资源授权，发现并没有添加用户的引用权限，但是电子表格还是正常查看数据。 原因及解决方案： 可能是该数据集之前是此用户创建的，在这个数据集上右键查看资源授权，可以看下“资源所有者”是否为此用户，如果“资源所有者”没有问题，可以在数据集的输出字段上右键查看资源授权，“资源所有者”是否为此用户。若是此用户，修改为管理员即可。 image2019-5-13 17:36:27.png 没有权限但是可以看到数据 没有权限但是可以打开报表部署Smartbi数据挖掘引擎/SmartbiETL
数据挖掘包含两大部分：数据挖掘执行引擎、数据挖掘服务引擎 数据挖掘执行引擎： 负责接收Smartbi 发送执行请求。 通过解析执行定义，生成spark 计算任务或python计算任务，分别发送计算节点。 本身并不承担计算任务，只负责计算任务的调度跟分发。 SmartbiETL功能 数据挖掘服务引擎： 提供模型预测服务给第三放系统调用 数据挖掘执行引擎和服务引擎可部署在同一台服务器中，也可以分开部署在不同服务器中。 数据挖掘数据量2000万、15个并发任务时以下时，只需要提升数据挖掘服务器配置即可 1、系统环境准备 配置防火墙，selinux相关操作，需要管理员权限。 1.1 防火墙配置 为了便于Hadoop-hive数据连接
1 概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 本文介绍如何在smartbi V9.5以上版本中连接Hadoop-hive数据库。 2 数据连接 2.1 配置信息 驱动程序类 连接字符串 驱动程序存放目录 支持数据库版本透视分析 ⬝ 数据过滤
1 概述 透视分析中可以通过设置过滤条件动态筛选想要查看的数据，比如在全国的订单销售数据中，可以通过区域筛选器快速切片到“华北”、“华南”等区域的数据。 2 功能入口透视分析中拖拽层次 在数据面板的数据资源树中，拖拽字段和参数到 过滤条件 或 过滤条件区。 guolvshuju.gif 3 场景示例 … 模糊过滤 1、基于以上示例，如果想要查看继续查看“贸易”型公司的销售数据，可以在右侧数据面板中拖拽“公司名称”到 行区 和 过滤条件区 ，并点击过滤条件的 设置 按钮 guolvshuju04.png 2、设置其 控件类型 为“单选输入框”，修改其 操作符 为 模糊匹配数据 - 数据是-0.13%在电子表格中显示成-.13%
问题描述 如下图所示，数据怎么会显示成 -.13% ，前面的0少了，应该是-0.13% https://s2-cs-pub-std.kefutoutiao.com/doc/im/tid8599/14684e72-9234-4b8b-981e-d89a1fd9a797.jpg?x-oss-process=image/auto-orient,1 解决方案： 通过验证，用户的SQL类似 select (-3/10000)*100||'%' a from dual ，在数据库中执行之后，也同样是有问题的，如下图所示： https://s2-cs-pub-std.oss-cn-shanghai.aliyuncs.com/doc数据 - 电子表格单元格数据显示成科学计数法
（本文档仅供参考） 问题描述： 电子表格单元格数据显示成科学计数法了，如下图所示，如何才能显示正常的数字？ image2020-8-12_14-19-42.png 解决方案： Excel单元格中的数字在超过11位数后就会显示成科学计数法，这是Excel本身的效果。 1.若是在单元格中拖拽了字段，可通过在 单元格属性-其他 勾选 使用显示值 的方式解决： image2020-8-12_14-20-6.png 2.若单元格中的数据为静态数据，则可参考以下步骤处理 1）确认将单元格格式设置为 数值 之后，是否显示正常的数字； image2020-8-12_14-20-15.pngETL-节点预览数据块，但里面查询执行慢
(文档仅供参考) 问题说明 为什么etl预览窗口很快，而数据查询就很慢？ image2023-12-11_18-27-55.png 数据查询—sql查询 image2023-12-11_18-26-34.png 原因： etl窗口预览取数逻辑： 1、预览数据在 引擎安装目录\data\middata 目录下以csv格式存储； 2、预览数据存储多少行数据成CSV文件，由如下配置决定； image2023-12-11_18-28-52.png 而数据查询节点查询：其对应sql查询模块的查询，对应有count全表，当全表数据量较大时，sql则较慢，对应和数据库性能相关。 注：如涉及到慢的情况，如多方面因素思考其支持的数据源范围
该文档从数据连接方式对已测试版本数据库相关信息进行汇总。 Smartbi的数据连接可以通过多种方式连接数据库，包括： 1）在Smartbi上读取本地文件连接本地数据库； 2）通过JDBC驱动连接数据库； 3) 使用JNDI的方式连接数据库; 4）通过XMLA方式连接多维数据库. 我们产品的支持方式是按照标准JDBC进行的支持，所以JDBC中的SQL语句需要按照JDBC标准才可以执行。 已测版本提供数据源连接示例，点击可跳转至相应示例文档，按照不同连接方式进行划分： 本地读取XMLA连接 数据源分类 数据源 本地数据库 Java数据源 文件 JDBC读取 按照数据
