第13页，共30页。 显示 292 条结果 (0.018 秒)
增量抽取介绍
的场景：覆盖多少天/季度等，即每次抽取，根据日期及滚动周期将数据库中新增以及部分历史数据抽取到MPP数据库中，其中历史数据将会覆盖原数据。 4 数据抽取耗时对比 硬件配置: 内存8G，CPU8核；测试数据库: MySQL 8.0 数据模型如下图： uodate.png 4.1【orders】入库方式"追加 … 耗时大概90s。 问题2：我的机器配置是：X86架构 32核； 内存 128G，硬盘1TB+。 如果要实现 "5.1.1 "、"5.1.2"章节的场景，抽取时间大概是多少？ 答：此配置远比上面测试环境高，那么抽取耗时也会比上述测试数据低一些。Excel导入模板介绍
的数据。 全量：全量就是在数据导入到数据库之前，把数据库中表的数据先清除了之后再导入。 主键校验方式 数据处理模式选择全量时，支持配置主键校验方式。 如果Excel文件数据量较少，使用 内存校验 可以优化性能；如果Excel文件数据量较多时，请选择 数据库校验。 内存校验：通过Java校验Excel … 时，支持配置主键校验方式。 如果Excel文件数据量较少，使用 内存校验 可以优化性能；如果Excel文件数据量较多时，请选择 数据库校验。 内存校验：通过Java校验Excel文件自身内容是否存在主键冲突； 数据库校验：通过数据库校验Excel文件自身内容是否存在主键冲突； 主键冲突处理规则⬝ 部署smartbiMPP集群多副本集群_keeper
后需要重启服务器才能生效 sed -i 's/=enforcing/=disabled/g' /etc/selinux/config 建议关闭服务器虚拟内存，避免查询期间使用虚拟内存导致查询变慢和查询异常。 swapoff -a #临时关闭 1.3.2 取消打开文件限制 在 /etc … /config.xml，放开注释即可。IPV4地址和IPV6地址只能配置一个，否则会出现端口冲突的报错。 开启监听0.0.0.0的配置。 worddavcc68c7020f47279ebed5c67dcdf1ecf9.png 2.2.7 设置smartbimpp内存大小 修改的配置文件/etc/clickhouse-server系统监控-监视
监视页面以图形方式列出Smartbi服务JVM的CPU、内存以及会话数，该页面每2秒更新一次数据。 监视.png 操作说明 在监视页面上，可以进行“停止监控”、“清空”、“导出”、“导入”、“执行垃圾回收”等操作，细节说明在下方。 监视1.png 停止监控 系统默认启动后自动进行监控，可点击该按钮停止监控。 不建议停止监控，否则出现性能问题时无法得知服务器CPU与内存最近一段时间的使用信息从而难以定位问题。 系统自动监控的设置位于 系统运维 > 系统选项 > 公共设置 中，可设置停止自动监控。 监视2.png 停止监控后，“监视”界面的 停止监控 按钮会自动转变为 开始监控 按钮，可点击该按钮重新开始监控内置数据库相关配置信息
SmartbiMpp的端口 8123 SmartbiMpp的默认数据库 default SmartbiMpp的默认帐号 default SmartbiMpp的默认密码 默认密码为空 数据库内存信息 如下图所示： 在SmartbiDemo_V8/smartbi/smartbiMPP/config/users.xml文件里，配置SmartbiMPP的默认最大内存值，这里默认是10G，可以根据需要修改配置。 worddav1e4072ea76539323e01ada49e5b140df.png Presto配置信息 内置的presto的参数如下： 连接参数系统监控-监视
监视页面以图形方式列出Smartbi服务JVM的CPU、内存以及会话数，该页面每2秒更新一次数据。 监视.png 操作说明 在监视页面上，可以进行“停止监控”、“清空”、“导出”、“导入”、“执行垃圾回收”等操作，细节说明在下方。 监视1.png 停止监控 系统默认启动后自动进行监控，可点击该按钮停止监控。 不建议停止监控，否则出现性能问题时无法得知服务器CPU与内存最近一段时间的使用信息从而难以定位问题。 系统自动监控的设置位于 系统运维 > 系统选项 > 公共设置 中，可设置停止自动监控。 监视2.png 停止监控后，“监视”界面的 停止监控 按钮会自动转变为 开始监控 按钮，可点击该按钮重新开始监控部署ETL
/opt 2、启动数据ETL cd /opt/smartbi-mining-engine-bin/engine/sbin/ ./experiment-daemon.sh start 用户可以根据自己机器的配置设置运行内存，修改文件/opt/smartbi-mining-engine-bin/conf/engine-env.sh。 #引擎进程初始堆内存大小，默认为5G EXPERIMENT_ENGINE_XMS=5G #引擎进程最大堆内存大小，默认为5G EXPERIMENT_ENGINE_XMX=5G 2.2 测试ETL ① 登录smartbi，检查配置 “系统运维”-“数据挖掘配置”-“执行引擎”，如图所示部署Redis Cluster集群
Redis 高性能的键值数据库，主要存储Smartbi会话信息。 Redis Cluster集群保证服务的高可用性。 Redis Cluster集群安装包请联系Smartbi官方支持获取。 1. 系统环境准备 1.1 推荐配置 系统 CPU 内存 硬盘 redis版本 … masterauth manager #主从同步master的密码(如果没有设置redis密码，则无需配置) 29.png maxmemory 4gb #设置Redis实例的最大内存配置，根据服务器实际内存设置 30.png maxmemory-policy allkeys-lfu #Redis达到系统选项-高级设置
显示的记录行数，其中每个资源的完整说明才算是一行记录。 20 性能优化 内存数据库最大返回行数 （MEMDB_MAXROW） 用于设置默认从数据库中返回多少条记录放到缓存中。默认记录是1000条。此值设置越大，则内存占用越多。 1000 数据集查询Fetchsize （MEMDB_FETCH_SIZE） 数据集查询时setfetchsize设置的数量。如果设置的值太大，会导致内存溢出。 5000 是否设置Statement的最大行数 （SET_STATEMENT_MAX_ROWS） 用于设置是否限制Statement从数据库中取数的最大行数，能够避免取数过部署SmartbiUnionServer跨库联合数据源集群
SmartbiUnionServer.tar.gz到Coordinator节点服务器，并解压到/opt目录。 tar -zxvf SmartbiUnionServer.tar.gz -C /opt 1）修改run.sh配置文件 通过修改启动文件可以设置JVM的最大内存、nodeID等参数。 cd /opt/SmartbiUnionServer vi run.sh -Xmx参数，默认的最大内存值为8G，可根据服务器实际配置进行情况填写; nodeID：集群中每个节点的nodeID是惟一的，不可重复，nodeID值为十六进制，可随意修改成其他十六进制数值(十六进制数值包含：0,1,2,3,4,5,6,7,8,9,A,B,C,D,E,F)。 ID格式
