第16页，共53页。 显示 524 条结果 (0.029 秒)
Spark SQL函数说明
1 什么是SparkSQL Spark SQL是Spark用于结构化数据处理的Spark模块。 SparkSQL的前身是Shark，是一个将Spark和Hive结合的框架，利用hive SQL简化的思想，将RDD进行简化。Shark的出现，是SQL-on-Hadoop的性能比Hive有了10-100倍的提高 … Distributed Dataset）的开发，提高开发效率，且执行效率飞快。 2 哪些组件用到了SparkSQL 自助ETL\ETL高级查询中的【派生列】、【过滤】以及【SQL脚本】（即将更名为Spark SQL）组件，支持输入spark SQL函数或语句，完成对数据进行处理或查询的任务。 序号 功能模块 组件 1Smartbi V10-分析展现
报表的“刷新数据“性能，取数速度较之旧版平均提高了30%，如下图展示新旧版本的刷新数据耗时对比。 3优化excel分析的取数逻辑-数据对比.png 备注：若需更高的刷新数据性能，建议考虑使用Excel 2019/ WPS 2019。 2、我们通过优化插件端获取字段及参数信息的接口，修改取数逻辑，来提高获取 … 业务主题的图表支持下钻 ^【自助仪表盘】组件支持设置字段显示名 ^【自助仪表盘】实现自定义饼图位置及图例显示百分比 ^【自助仪表盘】列表筛选器支持按钮风格自定义 ^【自助仪表盘】优化图形指标轴显示 ^【透视分析】多选参数值支持筛选包含逗号的数据 ^【电子表格】插件端的刷新数据与操作性能优化 ^【电子表格】回概述
1.1 为什么需要数据模型 正如一部汽车的动力取决于引擎，同样在一个BI产品里面也有一个引擎——数据建模。 Smartbi提供的数据建模功能 数据模型 带来了“敏捷建模”的新思路，从“数据引擎”上提高数据准备效率，为上层应用（即席查询、交互仪表盘、电子表格等）输出更澎湃的“动力”， 让Smartbi成为拥有 … 来实现数据集市，分析应用起来更加直观、效率更高。 但是因为宽表模式的限制，存在增删分析字段不方便、数据重复膨胀口径不一、关联计算时数据量大性能慢、宽表和业务手工Excel数据关联混合分析不方便等问题，技术人员处理起来不灵活、不敏捷。 客户期望：能够实现更加敏捷的多维建模。 受限于技术，传统“数据集市”不敏setFetchSize对各数据库的影响
，不同数据库设置不同的FetchSize，对时间变化百分比进行分析，如下图所示： 2021-07-28_16-14-32.png 结论如下： （1）设置FetchSize之后，DB2_V9、HANA、ORACLE和SHNENTONG这几个数据库在查询效率上均有较大的提高，特别是ORACLE和SHENTONG数据库 … 幅度的提升；DAMENG_V6、INFORMIX、VERTICA、ALIYUN_MAX_COMPUTE和IMPALA的相关影响不大；GBASE、KINGBASE、MSSQL、GREENPLUM和KINGBASEANALYTICS的查询效率反而是有一定幅度的降低。 性能示例 所用测试环境tomact为：8C25GsetFetchSize对各数据库的影响
，不同数据库设置不同的FetchSize，对时间变化百分比进行分析，如下图所示： 2021-07-28_16-14-32.png 结论如下： （1）设置FetchSize之后，DB2_V9、HANA、ORACLE和SHNENTONG这几个数据库在查询效率上均有较大的提高，特别是ORACLE和SHENTONG数据库 … 幅度的提升；DAMENG_V6、INFORMIX、VERTICA、ALIYUN_MAX_COMPUTE和IMPALA的相关影响不大；GBASE、KINGBASE、MSSQL、GREENPLUM和KINGBASEANALYTICS的查询效率反而是有一定幅度的降低。 性能示例 所用测试环境tomact为：8C25G网络请求安全卫士
的自定义请求头是否生效呢？ 勾选【启动跟踪日志】的【是】并【保存】(非排查问题或验证外，不建议开启，会影响性能)，然后进入smartbi->系统监控->日志→开始监控日志 访问代理地址，如以上nginx配置示例： http://10.10.11.254:8642/smartbi/vision/index.jsp … 注意事项 1.为提高安全性，请配置限制访问defender页面的IP地址，配置步骤参考此文档：https://wiki.smartbi.com.cn/pages/viewpage.action?smt_poid=43&pageId=111885305 https://wiki.smartbi.com.cnGC策略测试
，对内存的使用情况以及平均响应时间均有影响。 内存占用：其中Serial和CMS回收策略，提高JVM分配内存，内存的占用趋于固定值（Serial：32G和CMS：43G）； 而Parallel Old/Serial和G1回收策略，内存占用情况，是随着JVM分配内存提高而提高。 响应时间：综合结果分析，Parallel Old/Serial和G1回收策略下，随着内存增加响应速度提高较明显。其中G1回收策略，在200g内存下的响应时间相较于其他回收策略都低。 综上：基于G1回收策略随着内存增大能更充分利用内存，且性能表现亦有所提升。我们推荐使用G1回收策略。 回收策略设置 Jdk默认回收策略为PS(PS Scavenge、PS系统选项-高级设置
。 索引搜索每页显示行数 （INDEX_SEARCH_ROWS_PER_PAGE） 用于设置进行元数据搜索时，搜索结果在每页显示的记录行数，其中每个资源的完整说明才算是一行记录。 20 性能优化 内存数据库最大返回行数 （MEMDB_MAXROW） 用于设置默认从数据库中 … 行数 （SET_STATEMENT_MAX_ROWS） 用于设置是否限制Statement从数据库中取数的最大行数，能够避免取数过大导致系统内存溢出，限制方式一般是抛错、返回空等。 最大行数：通过性能优化的“数据集单次查询最大单元格数”设置项限制。 62.png Statement 是 Java 执行数据库操作压缩设置
用于设置当前多维分析是否对空行或空列进行压缩显示。 不压缩空行空列效果： image2019-11-1 9:52:2.png 压缩空行空列效果： image2019-11-1 9:54:8.png 其包含三个选项：压缩空行、使用函数过滤空行和压缩空列。 2022-02-10_14-24-06.png 压缩空行：表示不显示空行。 使用函数过滤空行：只对Mondrain数据源生效，用于提高压缩空行数据处理时的性能。 “压缩空行”和“使用函数过滤空行”的使用要求： 1、“使用函数过滤空行”必须与”压缩空行“同时使用，”压缩空行“支持单独使用。 2、在多维分析中没有自定义成员的前提下建议”使用函数过滤空行“设置项Smartbi⬝ 安装方式介绍
部署Smartbi前，推荐浏览 Smartbi安装前准备 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=114987442 相关文档，增加对Smartbi及其组件等的了解，提高部署效率。 安装方式 说明 优缺点 一键安装包部署 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=114987451 适用于项目单节点的快速部署，对于多节点环境，建议手工部署。 注意：一键部署安装包，所有的组件都是部署在一个节点。 如果部署在生产环境上，可能存在单点故障或性能问题
