第53页，共113页。 显示 1,129 条结果 (0.025 秒)
大数据量抽取性能优化
1. 应用场景 超大数据量抽取性能无法满足需求，需要优化。 2. 实施步骤 2.1 ETL部署服务器配置 数据抽取性能优化的关键是尽可能多线程并行抽取，多线程就要求有多核cpu，每个线程执行的时候，也需要消耗内存，数据抽取的时候，会有数据落盘，对磁盘容量跟IO性能也有一定要求。总体而言，越高的服务器配置越能优化出更好的性能，如果服务器配置过低，通过调整其它配置，性能优化空间有限。为了保证有一定优化效果，配置要求： CPU 内存 硬盘 8核+ 32G+ 300G+ 2.2 ETL引擎配置 为了最大利用服务器硬件资源，ETL执行引擎需要做下面几个配置： 2.2.1 分配内存 如果不设置，默认只系统监控-性能（CPU采样）
性能页面也即CPU采样跟踪，用于查看、监控服务器方法调用时间树结构。 image2021-8-26_14-20-44.png 使用说明 在发现系统访问缓慢时，可以通过性能界面进行CPU采样跟踪； 当遇到报表慢或者系统慢等问题时，可执行以下步骤进行CPU采样跟踪并提供相应的资料给思迈特进行跟踪处理。 （1）进入性能界面，设置【会话】，一般只是对当前用户的某个操作进行分析，通常情况下只需要录制到当前用户的会话信息就可以了（若是在一个浏览器上录制另一个浏览器的用户操作，则选择对应浏览器的会话进行录制）: image2021-8-26_14-21-15.png 点击“开始”按钮，则系统开始进行CPU采样。 image2021【升级注意事项】V9.7➜V10.5
（最大值、最小值、平均值、中位数、较小四分位数、较大四分位数）、自定义标线值设置 A2.png V10.5.12版本中，对标线功能进行完善，增强了标线功能的易用性，完整性。 V9.7趋势线类的图形的起始位置从指标轴开始。 2023-01-12_15-22-22.png V10.5.12中，趋势线类的图形的起始位置，与指标轴保持一定的距离。 2023-01-12_14-49-51.png V10.5.12中，为了提高趋势线类图形的可读性和美观性，将线的起始位置与指标轴保持一定的距离。 V9.7图形的透明度设置，名称为“透明度”，默认值为“0%”。 1.jpg数据挖掘-评估
概述 评估节点是对分类算法模型和回归模型的预测效果进行评估，检验模型在分类任务中的表现或者检验其在回归任务中的可靠性。 “评估”节点的前置节点必须是“预测”。 输入/输出 输入 只有一个输入端口，用于接收预测结果。 输出 没有输出端口。 示例 图片42.png 点击右键可以查看评估结果。针对分类与回归及无监督算法提供不同的评估指标。 分类预测模型评价指标如下图： image2020-11-9_11-7-13.png 回归预测模型评价指标如下图： image2020-11-9_11-8-36.png 聚类分析效果如下图： 图片45.png 评估数据挖掘-最大绝对值归一化
概述 最大绝对值归一化通过除以每个特征内的最大绝对值将每个特征映射到[-1,1]的范围；它不会移动和中心化数据，因此不会破坏任何的稀疏性。 输入/输出 输入 没有输入端口 输出 一个输出端口，与抽取、变换节点组合使用 参数设置 参数名称 说明 备注 新增列后缀 用于设置在原字段名后追加后缀生成新的列，默认后缀为：Normalized； 必填 图片3.png 示例 使用“鸢尾花数据”，特征选择4个特征列，最大绝对值归一化为[-1,1]范围的数据，输出结果如下图： 图片4.png 最大绝对值归一化数据挖掘-词向量
概述 词向量是表示文档的单词序列，通过训练Word2vec模型，将词语转化为向量。该模型将每个单词映射到一个唯一的固定大小向量。Word2Vec模型通过文档中所有单词的平均值将每个文档转换为一个向量；然后可以将该向量用作预测、文档相似性计算的特征。 参数设置 参数名称 说明 生成向量的数量 词向量的维度，默认值为50 词频 默认值为2，词频大于该值的词才能入选词典 示例 图片9.png 效果 使用“垃圾短信识别”示例数据，词向量的参数生成向量数量为50.词频为2，特征选择后，输出结果如下： 图片10.png 词向量数据挖掘-评估
概述 评估节点是对分类算法模型和回归模型的预测效果进行评估，检验模型在分类任务中的表现或者检验其在回归任务中的可靠性。 “评估”节点的前置节点必须是“预测”。 输入/输出 输入 只有一个输入端口，用于接收预测结果。 输出 没有输出端口。 示例 图片42.png 点击右键可以查看评估结果。针对分类与回归及无监督算法提供不同的评估指标。 分类预测模型评价指标如下图： image2020-11-9_11-7-13.png 回归预测模型评价指标如下图： image2020-11-9_11-8-36.png 聚类分析效果如下图： 图片45.png 评估Smartbi V10.5.15-基础平台
注意：(新特性列表中：+表示新增；^表示增强) V10.5.15版本重点对"加载文件数据"功能进行了优化和完善，详细改进情况如下： 新增 增强 +【基础平台】新增用户登录会话超时注销功能 +【基础平台】新增用户登录会话超时注销功能 在V10.5.15版本中，新增用户登录会话超时注销功能：在一定时间内页面无用户操作动作，则会触发会话超时，需要重新登录，增强系统安全性。 Snipaste_2023-04-07_16-57-02.png 参考文档 详情请参见：系统选项-用户管理 https://wiki.smartbi.com.cn/pages/viewpage.action数据挖掘-最大绝对值归一化
概述 最大绝对值归一化通过除以每个特征内的最大绝对值将每个特征映射到[-1,1]的范围；它不会移动和中心化数据，因此不会破坏任何的稀疏性。 输入/输出 输入 没有输入端口 输出 一个输出端口，与抽取、变换节点组合使用 参数设置 参数名称 说明 备注 新增列后缀 用于设置在原字段名后追加后缀生成新的列，默认后缀为：Normalized； 必填 图片3.png 示例 使用“鸢尾花数据”，特征选择4个特征列，最大绝对值归一化为[-1,1]范围的数据，输出结果如下图： 图片4.png 最大绝对值归一化数据挖掘-词向量
概述 词向量是表示文档的单词序列，通过训练Word2vec模型，将词语转化为向量。该模型将每个单词映射到一个唯一的固定大小向量。Word2Vec模型通过文档中所有单词的平均值将每个文档转换为一个向量；然后可以将该向量用作预测、文档相似性计算的特征。 参数设置 参数名称 说明 生成向量的数量 词向量的维度，默认值为50 词频 默认值为2，词频大于该值的词才能入选词典 示例 图片9.png 效果 使用“垃圾短信识别”示例数据，词向量的参数生成向量数量为50.词频为2，特征选择后，输出结果如下： 图片10.png 词向量
