第78页,共563页。 显示 5,625 条结果 (0.055 秒)
数据挖掘-服务SDK使用示例
=1686893942000&api=v2 服务引擎地址可通过系统运维-数据挖掘配置-服务地址得到, 如: https://wiki.smartbi.com.cn/download/attachments/101891616/image2023-6-16_13-43-18.png?version=1&modificationDate=1686894197000&api=v2 数据json串则由用户自己的业务数据构成, 结构按照上述截图。 四、返回结果说明 返回ServiceInstancesResponse对象调用ok方法, 如果返回true则表示成功, content内容为结果json串。如果false则表示执行异常, contentWindows 部署数据挖掘/SmartbiETL
本章简要介绍如何在Windows环境上单独部署数据挖掘引擎服务。 准备工作 获取数据挖掘安装包。 1、请确认license中包含数据挖掘服务,如若不包含,需要重新申请。 2、数据挖掘服务目前只支持jdk1.8。 3、安装包请联系Smartbi官方支持获取。 安装数据挖掘服务 1、解压缩安装包。 2、启动数据挖掘服务 执行启动脚本(路径:smartbi-mining-engine-bin\engine\sbin) 双击运行启动脚本一:experiment-daemon-start.bat 双击运行启动脚本二:service-daemon-start.bat 首次启动是为了生成数据挖掘配置文件数据模型-定义流程
数据模型的定义流程主要包含如下几个环节: image2021-8-11_16-56-45.png 1、新建数据模型:用于进入到数据模型的定义编辑界面,详情请参见:数据模型创建入口 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=69737157#id-%E5%A2%9E%E5%BC%BA%E6%95%B0%E6%8D%AE%E9%9B%86%E7%95%8C%E9%9D%A2%E4%BB%8B%E7%BB%8D-1.%E5%85%A5%E5%8F%A3。 2、创建私有查询:用于创建数据模型的数据来源资源。详情请参见:数据模型-私有查询 https数据挖掘-FP-Growth
生活中的数据本身包含着各种联系,大数据的出现给我们带来了一种新的思维方式,那就是跳出先因后果的思维方式,用大量的数据统计结果去倒推原因,找到无关因素间的隐蔽联系,例如众人皆知的营销案例 "啤酒和尿布”。本文将介绍目前业界经典关联规则算法 FP-Growth,借助分析购物篮中商品数据,找出商品之间的关联关系,帮助用户挖掘出数据最大的价值,获得更大的经营收益。 FP-Growth 简介 FP-Growth(Frequent Pattern Growth)作为一种经典的关联规则算法,可以高效自动地从数据中挖掘出频繁集合,进而挖掘出潜在的关联规则,这些在企业营销决策的制定过程中具有重要的参考价值。另外,FP-Growth数据挖掘-FP-Growth
生活中的数据本身包含着各种联系,大数据的出现给我们带来了一种新的思维方式,那就是跳出先因后果的思维方式,用大量的数据统计结果去倒推原因,找到无关因素间的隐蔽联系,例如众人皆知的营销案例 "啤酒和尿布”。本文将介绍目前业界经典关联规则算法 FP-Growth,借助分析购物篮中商品数据,找出商品之间的关联关系,帮助用户挖掘出数据最大的价值,获得更大的经营收益。 FP-Growth 简介 FP-Growth(Frequent Pattern Growth)作为一种经典的关联规则算法,可以高效自动地从数据中挖掘出频繁集合,进而挖掘出潜在的关联规则,这些在企业营销决策的制定过程中具有重要的参考价值。另外,FP-Growth自助ETL-FTP/SFTP数据源
1. 概述 FTP数据源是指通过FTP方式读取数据。 image2023-7-31_17-28-40.png 2. 输入/输出 输入 没有输入端口。 输出 只有一个输出端口,用于输出数据到下一节点资源。 3. 参数配置 image2023-7-31_17-29-52.png 设置说明如下: 参数 说明 协议类型 FTP、SFTP 服务器ip或主机名 连接服务器的地址 服务器端口 连接服务器的端口 用户名 服务器用户名 密码 服务器密码 文件路径 填写读取文件的路径 自动生成表头 表示上传数据时是否生成表头:若指标模型-事实表数据管理
对事实表数据进行管理的方式有两种:在线编辑数据、通过绑定自助ETL实现灌数。 在线编辑数据 1、打开某个事实表,点击 数据预览 ,查看事实表数据。 事实表-预览.png 2、点击右侧的 在线编辑 ,打开在线编辑数据的窗口。 ● 目前暂时只支持小数据量的场景,默认限制表数据小于等于1000行时,才能进行在线编辑。 ● 表格数据默认是至少显示100行,如果表数据本身没有达100行时,会自动在数据下面增加空行补齐。 ● 表格列是根据当前事实表的字段自动显示,不支持增删列。 ● 默认会自动是冻结列头。 事实表-入口.png 事实表-窗口.png5、测试数据挖掘及其组件
本节介绍smartbi连接数据挖掘、Spark、Hadoop、Python以及测试服务是否正常运行。 单机部署数据挖掘组件环境如下: 服务器IP 主机名 组件实例 部署目录 10.10.204.248 10-10-204-248 数据挖掘 /data 10.10.204.249 10-10-204-249 Spark,Hadoop /data 10.10.204.250 10-10-204-250 Python /data 请根据实际部署环境替换相关的配置信息。 1. 配置连接信息 配置数据挖掘连接信息前,请确认数据挖掘已正常部署和启动。部署文档参考:部署数据挖掘Smartbi V10.5.15-数据准备
注意:(新特性列表中:+表示新增;^表示增强) V10.5.15版本重点对"加载文件数据"功能进行了优化和完善,详细改进情况如下: 新增 增强 +【指标管理】支持接入已有的维表和事实表 +【指标管理】维表和事实表支持基于SQL创建 +【指标管理】支持PostgreSQL数据库作为指标存储库 +【数据模型】支持新建计算列 +【数据模型】支持转换规则 +【数据模型】支持自定义函数向导 ^【ETL自动化】源数据信息下载窗口左侧树增加全选功能 +【指标管理】支持接入已有的维表和事实表 背景介绍 在企业数字化转型进程中,许多企业已构建了自己的数据仓库,有独立的数仓数据挖掘-异常值处理
概述 异常值检测和处理是数据挖掘中常用的数据处理方法,添加异常值检测节点,满足数据处理、欺诈行为检测等应用场景。 用户可以针对异常值选择相应的填充策略进行异常值的替换。 image2020-7-3 16:58:36.png 输入/输出 输入 一个输入端口,用于接收数据集 … :1.png 检测方法 四分位距:将数据按数值从小到大分成四等分,分隔点为Q1、Q2、Q3,四分位距则为上四分位值Q3与下四分位值Q1两者之差。 标准差法:假定数据是服从正态分布的,计算数据的标准差,对偏离标准差的数据进行处理如用均值、上下界数值、指定值替换。 自定义检测:可以自定义上下界,对异常值进行