第13.6页，共30页。 显示 292 条结果 (0.018 秒)
部署ETL
/opt 2、启动数据ETL cd /opt/smartbi-mining-engine-bin/engine/sbin/ ./experiment-daemon.sh start 用户可以根据自己机器的配置设置运行内存，修改文件/opt/smartbi-mining-engine-bin/conf/engine-env.sh。 #引擎进程初始堆内存大小，默认为5G EXPERIMENT_ENGINE_XMS=5G #引擎进程最大堆内存大小，默认为5G EXPERIMENT_ENGINE_XMX=5G 2.2 测试ETL ① 登录smartbi，检查配置 “系统运维”-“数据挖掘配置”-“执行引擎”，如图所示部署Redis Cluster集群
Redis 高性能的键值数据库，主要存储Smartbi会话信息。 Redis Cluster集群保证服务的高可用性。 Redis Cluster集群安装包请联系Smartbi官方支持获取。 1. 系统环境准备 1.1 推荐配置 系统 CPU 内存 硬盘 redis版本 … masterauth manager #主从同步master的密码(如果没有设置redis密码，则无需配置) 29.png maxmemory 4gb #设置Redis实例的最大内存配置，根据服务器实际内存设置 30.png maxmemory-policy allkeys-lfu #Redis达到系统选项-高级设置
显示的记录行数，其中每个资源的完整说明才算是一行记录。 20 性能优化 内存数据库最大返回行数 （MEMDB_MAXROW） 用于设置默认从数据库中返回多少条记录放到缓存中。默认记录是1000条。此值设置越大，则内存占用越多。 1000 数据集查询Fetchsize （MEMDB_FETCH_SIZE） 数据集查询时setfetchsize设置的数量。如果设置的值太大，会导致内存溢出。 5000 是否设置Statement的最大行数 （SET_STATEMENT_MAX_ROWS） 用于设置是否限制Statement从数据库中取数的最大行数，能够避免取数过部署SmartbiUnionServer跨库联合数据源集群
SmartbiUnionServer.tar.gz到Coordinator节点服务器，并解压到/opt目录。 tar -zxvf SmartbiUnionServer.tar.gz -C /opt 1）修改run.sh配置文件 通过修改启动文件可以设置JVM的最大内存、nodeID等参数。 cd /opt/SmartbiUnionServer vi run.sh -Xmx参数，默认的最大内存值为8G，可根据服务器实际配置进行情况填写; nodeID：集群中每个节点的nodeID是惟一的，不可重复，nodeID值为十六进制，可随意修改成其他十六进制数值(十六进制数值包含：0,1,2,3,4,5,6,7,8,9,A,B,C,D,E,F)。 ID格式Impala与Hive的比较
）。 4、更好的IO调度，Impala知道数据块所在的磁盘位置能够更好的利用多磁盘的优势，同时Impala支持直接数据块读取和本地代码计算checksum。 5、通过选择合适的数据存储格式可以得到最好的性能（Impala支持多种存储格式）。 6、最大使用内存，中间结果不写磁盘，及时通过网络 … getNext主动向前面节点要数据，以此方式数据可以流式的返回给客户端，且只要有1条数据被处理完，就可以立即展现出来，而不用等到全部处理完成，更符合SQL交互式查询使用。 内存使用： Hive: 在执行过程中如果内存放不下所有数据，则会使用外存，以保证Query能顺序执行完。每一轮MapReduce结束，中间结果也会写部署Smartbi-UnionServer集群
SmartbiUnionServer.tar.gz到Coordinator节点服务器，并解压到/opt目录。 tar -zxvf SmartbiUnionServer.tar.gz -C /opt 1）修改run.sh配置文件 通过修改启动文件可以设置JVM的最大内存、nodeID等参数。 cd /opt/SmartbiUnionServer vi run.sh -Xmx参数，默认的最大内存值为8G，可根据服务器实际配置进行情况填写; nodeID：集群中每个节点的nodeID是惟一的，不可重复，nodeID值为十六进制，可随意修改成其他十六进制数值(十六进制数值包含：0,1,2,3,4,5,6,7,8,9,A,B,C,D,E,F)。 ID格式电子表格注销报错"未指定错误"
（本文档仅供参考） 问题： 客户用的wps2016特殊版本，之后登陆制作报表没有问题，但是注销就会报下面错误，换了其他office就没有这个问题 "WPS表格 在试图打开文件时遇到错误。 请尝试下列方法。 ·检查文档或驱动器的访问权限。 ·确保有足够的内存和磁盘空间。 ·确保此文件是可以识别的格式。 C:\Users\Administrator\AppData\\Microsoft\Excel\XISTART\PERSONAL.XISB) 1.png2.png 解决方案： 把这个路径的文件删了之后解决。 3.png 注销报错vertica优化
执行计划中使用的【GROUP BY HASH】这时候就要修改你的查询sql或者projection的，group by最好使用【GROUP BY PIPELINE】这种方式使用更少的内存，查询更快！ 5、 清楚不必要的projection，多余的projection意味着查询是要花费更多的时间去选择。 6 … 所需要的内存 2、 建立专用的资源池接入SAP问题参考
（本文仅供参考） 说明 smartbi如何对接SAP/BW并完成报表及看板的开发。 解决方案 1、BW是SAP的数据仓库模块，Smartbi对接BW的方式主要有以下几种： 1）通过RFC Java查询进行连接（SAP提供的标准RFC接口，相当于定制接入） image2024-5-15_10-20-29.png 2）通过Query来接入 image2024-5-15_10-21-14.png 映射query到Smartbi image2024-5-15_10-22-14.png 2、SAP HANA是传统关系型的内存计算引擎，可通过JDBC的方式进行连接。 注意ETL-目标节点是Clickhouse，写数据报错：断开的管道 或者 Broken pipe
WRITE_JDBC_COMMIT_BATCH 设置为 true 可以更精准的控制内存使用量，同时也有一定的限流效果 V11之前的版本只能配置整个计算引擎的并行度 image2024-1-23_14-38-7.png
