第57页,共164页。 显示 1,631 条结果 (0.079 秒)
回写 - 回写修改数据,数据库没有执行insert
(本文档仅供参考) 问题现象: 回写规则添加了一个年参数作为主键,回写修改数据,数据库没有执行更新操作,而是变成插入新记录,如图所示 image2018-10-25 18:45:52.png 解决方案: 根据返回执行sql,发现分别有一条update和insert语句,update匹配不上,所以就直接执行了insert 最终发现是因为字段是CHAR(6)导致的,用了char(6),由于回写的是年份4个字符,数据库会自动使用空格补位,导致最终匹配不上 所以update不生效,就直接执行insert。可以将字段改成varchar2或者char(4)。 image2018-10-25 18:47:17.pngETL-tinyint类型映射成了Boolean类型
(本文档仅供参考) 问题描述: MYSQL原始表的类型是tinyint类型,原始数据该字段有(0,1,2)三个值,但是ETL读入时被转换成Boolean类型,导致用ETL导入后只剩下(0,1)两个值了,这如何解决? image2022-5-11_17-23-35.png 解决方案: 这是由于spark对于tinyint这种类型会自动映射成boolean。可在连接地址url中带上此参数项:tinyInt1isBit=false。例:jdbc:mysql://localhost:3307/test?tinyInt1isBit=false mysql://localhost:3307/test?tinyInt1isBit自助仪表盘资源权限设置
(本文档仅供参考) 问题说明 使用自助仪表盘功能,使用到跨库查询、抽取功能,在赋予用户报表浏览权限的时候,具体涉及到哪些权限? 解决方案 自助仪表盘的资源权限设置比较特殊,请参考wiki问:自助仪表盘-定义流程 https://history.wiki.smartbi.com.cn/pages/viewpage.action?pageId=40447050 image2018-11-20 11:5:6.png 仪表盘使用权限配置逻辑租户扩展包使用手册
配置系统资源目录默认权限 租户初始化之前需要在各系统默认的资源目录配置资源权限,需要配置权限的目录有数据连接、数据准备(指标模型、自助ETL、作业流、ETL自动化、业务主题、数据集)、分析展现、公共空间。 数据连接,打开数据连接菜单,选择数据连接,点击右键打开资源授权 … 其他目录例如数据准备(指标模型、自助ETL、作业流、ETL自动化、业务主题、数据集)、分析展现、公共空间等也按次操作进行资源授权处理。 创建租户 在多租户管理界面,点击"创建租户",填写租户信息。 worddavf318b7c997848edbc4b5d697a33f0369.pngKettle学习资料
以下资料仅供参考 Kettle 是一款 Pentaho http://www.pentaho.com/ 旗下的ETL工具,纯Java编写,可以在Window、Linux、Unix等系统上运行,数据抽取高效稳定。 Kettle 这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettle http://baike.baidu.com/view/2486337.htm 中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。作为 Pentaho http数据挖掘-最小最大归一化
概述 最小最大值归一化是对原始数据的线性变换,使结果映射到[0,1]区间。设minA和maxA分别为特征A的最小值和最大值,将A的一个原始值x通过MinMaxScaler映射到区间[0,1]间,公式为:x' = (x-minA)/(maxA-minA)。 输入/输出 输入 没有输入端口 输出 一个输出端口,与抽取、变换节点组合使用 参数设置 参数名称 说明 备注 新增列后缀 用于设置在原字段名后追加后缀生成新的列,默认后缀为:Normalized; 必填 图片1.png 示例 使用“鸢尾花数据”,特征选择4个特征数据挖掘-最大绝对值归一化
概述 最大绝对值归一化通过除以每个特征内的最大绝对值将每个特征映射到[-1,1]的范围;它不会移动和中心化数据,因此不会破坏任何的稀疏性。 输入/输出 输入 没有输入端口 输出 一个输出端口,与抽取、变换节点组合使用 参数设置 参数名称 说明 备注 新增列后缀 用于设置在原字段名后追加后缀生成新的列,默认后缀为:Normalized; 必填 图片3.png 示例 使用“鸢尾花数据”,特征选择4个特征列,最大绝对值归一化为[-1,1]范围的数据,输出结果如下图: 图片4.png 最大绝对值归一化耗时记录分析说明
(本文档仅供参考) 分析维度 影响性能的主要维度: SQL执行、数据读取、服务器处理,数据传输、前端渲染,其中服务器处理包括:数据处理、公式调整、生成报表。 服务器 处理 数据处理 相关抽取逻辑,透视分析的时间计算,数据的格式、图形需要的并列轴处理,部分功能合计值计算、自助的计算字段、电子表格的扩展计算,包含异步处理的时间 生成报表 拼装报表返回前端需要的信息,包含图形处理、表格处理、Excel对象转Html、样式设置等 公式处理 Excel公式处理时间 相关资源 为了判断分析内容数据是否合理,需要有一些辅助信息增加判断,比如操作批次、操作时间、服务器总耗数据挖掘-最小最大归一化
概述 最小最大值归一化是对原始数据的线性变换,使结果映射到[0,1]区间。设minA和maxA分别为特征A的最小值和最大值,将A的一个原始值x通过MinMaxScaler映射到区间[0,1]间,公式为:x' = (x-minA)/(maxA-minA)。 输入/输出 输入 没有输入端口 输出 一个输出端口,与抽取、变换节点组合使用 参数设置 参数名称 说明 备注 新增列后缀 用于设置在原字段名后追加后缀生成新的列,默认后缀为:Normalized; 必填 图片1.png 示例 使用“鸢尾花数据”,特征选择4个特征数据挖掘-最大绝对值归一化
概述 最大绝对值归一化通过除以每个特征内的最大绝对值将每个特征映射到[-1,1]的范围;它不会移动和中心化数据,因此不会破坏任何的稀疏性。 输入/输出 输入 没有输入端口 输出 一个输出端口,与抽取、变换节点组合使用 参数设置 参数名称 说明 备注 新增列后缀 用于设置在原字段名后追加后缀生成新的列,默认后缀为:Normalized; 必填 图片3.png 示例 使用“鸢尾花数据”,特征选择4个特征列,最大绝对值归一化为[-1,1]范围的数据,输出结果如下图: 图片4.png 最大绝对值归一化