第25页，共203页。 显示 2,025 条结果 (0.574 秒)
数据挖掘-过滤
概述 根据用户需求，通过写SQL语句(片段)的方式，对数据集中指定字段进行条件筛选过滤。 image2020-9-8_9-10-20.png 输入/输出 输入 一个输入端口，用于接收数据集。 输出 一个输出端口，用于输出过滤的结果。 参数设置 设置过滤与映射的参数： image2020-5-21 13:58:29.png 设置说明如下： 参数 说明 过滤器 对数据的指定字段进行过滤。 image2020-5-21 11:42:59.png 示例 1、原先示例数据源的输出结果有150条数据，对其进行过滤关系型数据源-Hadoop-hive数据连接
1 概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 本文介绍如何在smartbi V9.5以上版本中连接Hadoop-hive数据库。 2 数据连接 2.1 配置信息 驱动程序类 连接字符串 驱动程序存放目录 支持数据库版本自助ETL-节点资源区介绍
%BC%E5%87%BA%E6%95%B0%E6%8D%AE%E5%88%B0HDFS 导出数据到HDFS是指将结果数据保存到HDFS中。 数据预处理 自助ETL拥有强大的数据处理功能，对各种结构化数据，可进行排序、去重、映射、行列合并等处理，满足客户日常数据处理的需要。 使用数据预处理可以： 1、提高数据的质量。 2、让数据更好地适应特定的挖掘技术或工具。 名称 使用说明 过滤 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=51940603 根据用户需求，通过写SQL语句(片段)的方式，对数据集中指定字段进行条件筛选过滤。 列ETL高级查询-功能节点
节点不支持数据源有：Presto+Hive、星环；已支持的数据源有：Clickhouse、Vertica 、Infobright。 数据查询 概述 数据查询是指新建或编辑数据模型的私有查询（SQL查询、即席查询、脚本查询、存储过程查询），然后将新建的私有查询转换为表放到高速缓存库中作为数据源。 数据查询的数据 … 查询的参数： image2021-5-1_17-16-50.png 设置说明如下： 参数 说明 请选择数据查询类型 数据查询类型包括：SQL查询、即席查询、脚本查询、存储过程查询。 新建/编辑数据查询 点击按钮新建或编辑数据查询，详情请参考 可视化SQL查询自助ETL-功能使用
输出节点。 数据处理 自助ETL拥有强大的数据处理功能，对各种结构化数据，可进行排序、去重、映射、行列合并等处理，满足客户日常数据处理的需要。 统计分析 对数据进行探索研究，该部分包括常用的统计分析功能节点。 脚本模块 自定义模块是通过手动输入SQL或Python语言对数据进行数据处理、分析参数筛选应用
参数的筛选联动应用是指参数在自助仪表盘和电子表格中的筛选过滤数据效果。 我们先按照如下步骤定义好数据模型： 1、在数据模型定制界面创建带参数的SQL查询： image2021-8-24_9-26-11.png 2、在数据模型定制界面创建即席查询： image2022-2-5_19-27-39.png 3、设置好度量（销量是合计，Freight是平均值），并修改Freight的度量别名为“平均运费”： image2022-2-5_19-30-48.png 4、在”参数管理“面板中进行如下参数映射设置： image2022-2-5_19-53-3.png 5、保存该数据模型。 6、创建自助仪表盘，应用以上步骤定制数据挖掘-过滤
概述 根据用户需求，通过写SQL语句(片段)的方式，对数据集中指定字段进行条件筛选过滤。 image2020-9-8_9-10-20.png 10.5.15版本后，左侧资源树不再显示过滤节点，但是旧的过滤节点仍能正常使用，建议使用最新的行过滤节点完成过滤操作。 输入/输出 输入 一个输入端口，用于接收数据集。 输出 一个输出端口，用于输出过滤的结果。 参数设置 设置过滤与映射的参数： image2020-5-21 13:58:29.png 设置说明如下： 参数 说明 过滤器 对数据的指定字段进行过滤自助ETL-循环API
把ETL处理好的数据，循环推送给API接口这个场景。 根据上游数据，一条数据循环一次，循环完所有数据后，退出循环。 循环间隔时间: 是每循环一次，间隔多长时间，在循环下一次，单位是毫秒，默认是0 是否输出映射参数：如果勾选这个选项，就会把映射参数在节点结果中输出，方便跟api响应对应起来 上游数据映射为参数：把上游数据各个字段映射为参数，然后通过参数传给API接口 按序号循环 https://wiki.smartbi.com.cn/download/attachments/128123455/image2025-1-8_10-53-18.png?version=1&modificationDate产品介绍
不同的关系数据库查询 产品支持将不同的数据源关联，比如将Oracle和SQL Server两种数据源关联，来应对不同接口数据统一访问问题，数据无需落地，即刻可用。 2 自助ETL ETL流程设计 ETL流程设计将业务系统数据通过简单的拖放操作进行预处理，支持：过滤与映射、空值处理 … 过程中提供自动的业务监控和预警，最终帮助企业实现数字化运营。 图片2.png 4、产品架构 Smartbi 基于业界领先的技术体系，设计了全新的一站式大数据分析BI平台，实现了自助BI+智能BI，产品架构设计注重层间的松耦合与层内的高内聚，通过对业务对象的抽象、映射实现业务对象组件化和统一的服务调用，降低了开发和维护Smartbi V10.5-分析展现
地处理参数之间的映射关系、备选值及默认值等等。 功能简介 1、数据集面板中，支持新建“模型查询”数据集、“SQL查询”数据集。 查询类型 功能说明 功能截图 模型查询 模型查询基于数据模型创建，用户可直接从数据模型中拖拽维度和度量作为模型查询的字段、参数。 维度和度量字段支持 … 多个参数，然后在参数管理中设置参数映射，完成后在浏览报表时使用。 image2022-1-2_16-6-23.png 参考文档 关于模型查询、SQL查询、参数管理功能，详情请参考 模型查询 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId
