第9页,共433页。 显示 4,325 条结果 (0.047 秒)
3、部署Hadoop集群
> <!-- 这里把实验引擎ip, python执行节点ip,spark部署机器ip,hadoop部署机器ip,SmartbiMPP部署服务器ip都加上--> <!-- ETL/数据挖掘中的组合查询节点,需要SmartbiMPP访问hdfs--> <!-- 增加以下配置 … ,SmartbiMPP部署服务器ip都加上--> <!-- ETL/数据挖掘中的组合查询节点,需要SmartbiMPP访问hdfs--> <!-- 增加以下配置 --> <property> <name>security.client.datanode.protocol.hosts</name高速缓存库支持连接指定schema
: GaussDB(DWS) Presto+Hive SelectDB SmartbiMpp,广州思迈特软件有限公司研发的高速缓存库 SmartbiMppMD,广州思迈特软件有限公司研发的高速缓存库 Vertica 星环 StarRocks 4、覆盖的数据集:数据模型、自助数据集、原生SQL数据集、可视化数据部署后安全检测清单
修改密码,增加密码复杂度保证数据库的安全。 2.png 3.检查mysql用户密码复杂度 知识库的连接密码,要求必须是【密码长度8位以上,大小写字母+数字+特殊字符】 四、检查MPP用户名密码 参考:安装SmartbiMPP 单节点(rpm/deb包) 五、检查olap的config配置页面密码 … 一、检查tomcat版本 必须使用最新版本tomcat 检测方法 进入tomcat/bin目录 export JAVA_HOME=/home/Smartbi_CentOS_x86_CN_V11.0/Jdk/ ./vrsion.sh image (1).png tomcat 8最新版本:https【升级注意事项】V9.5➜V10.5
://wiki.smartbi.com.cn/pages/viewpage.action?pageId=55840890 以便在数据模型中使用“ETL高级查询”功能。 2.2 高速缓存库 数据模型依赖于高速缓存库,若目前高速缓存库使用的是SmartbiMPP,则需要将 SmartbiMpp 更新至 21.x及以上版本,详情见 升级SmartbiMPP。 2.3 数据挖掘 V10.5 数据挖掘升级内容如下,请按文档 【数据挖掘】V9.5升级到V10版本 进行更新部署相应的组件。 数据挖掘组件 V9.5版本 V10.5版本 更新说明 Spark 2.4 3.1 Spark版本由2.4部署问题排查思路
权限不够 如下图所示,如果使用service clickhouse-server start启动SmartbiMPP,提示UNKNOWN。此时SmartbiMPP启动失败。但是查看/var/log/clickhouse-server/clickhouse-server.err.log又没有日志输出。 image2021-12-6_11-7-44.png 原因:/var/log/clickhouse-server/目录的日志文件不是clickhouse用户权限,所以启动SmartbiMPP时,没权限写日志导致启动失败。 处理方法:给日志目录赋予clickhouse的权限 # sudo chown -R clickhouse⬝ 部署问题排查思路
service clickhouse-server start启动SmartbiMPP,提示UNKNOWN。此时SmartbiMPP启动失败。但是查看/var/log/clickhouse-server/clickhouse-server.err.log又没有日志输出。 image2021-12-6_11-7-44.png 原因:/var/log/clickhouse-server/目录的日志文件不是clickhouse用户权限,所以启动SmartbiMPP时,没权限写日志导致启动失败。 处理方法:给日志目录赋予clickhouse的权限 # sudo chown -R clickhouse:clickhouse /var/log高速缓存库预览表报错:Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 1224
1224: 'smartbimpp'.'TEST_20210105' T4744 limit 20 FORMAT TabSeparatedWithNamesAndTypes;. Expected one of: SELECT subquery, compound identifier, identifier … ] at java.lang.Thread.run(Thread.java:748) [?:1.8.0_191] Caused by: java.lang.Throwable: Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 1224: 'smartbimpp直连&抽取
1 概述 Smartbi 数据模型提供“直连”和“抽取”两种数据加载模式: 直连:是指直接连接用户数据库进行数据的读取。 抽取:则是将模型的数据抽取到SmartbiMPP数据库中提升查询效率,计算速度会更快,数据需要定期更新。 2 直连和抽取适用场景 2.1 什么样的用户适合直连模式 实时 … 缓存。 ancichouquxiaoguo.png 4.1.4 分区设置 1、抽取的分区设置目前支持的MPP库:只有SmartbiMpp产品默认使用高速缓存库 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=111757078CH增量抽取介绍
1 背景 若数据库中有一张表,每天都会新增数据,这时候用户可以使用 增量抽取,只将每天新增的数据更新到 Smartbi MPP 表,这样就不需要更新整张数据表,节省了更新时间和更新资源。 1、增量抽取只在数据模型引擎V2.0上生效。 2、目前增量抽取支持的缓存库有3个:SmartbiMpp、StarRocks、SmartbiMppMD;其他缓存库支持增量抽取,正在持续继续完善。 3、导入文件、生成日期表、ETL高级查询不支持增量抽取。 4、增量抽取是针对数据模型的单个表或查询进行设置的。 1.1 增量抽取适用场景 增量抽取常用于频繁更新且数据量比较大的表。 满足以下条件的数据表,比较适合使用增量抽取: 历史数据【升级注意事项】V8.5➜V10.5
Smartbi-Export 导出引擎 PS:V9.3及之后的版本若通过exe执行文件自动安装的环境,默认自动配置好导出引擎。 2.2 高速缓存库Smartbi Mpp 数据模型依赖于高速缓存库,若高速缓存库使用的是SmartbiMPP,则需要将 SmartbiMpp 更新至 21.x及以上版本,详情见 升级SmartbiMPP。 2.3 数据挖掘 V9 版本中新增了数据挖掘模块,为了保证功能正常使用,请提前部署好相应的引擎组件:部署Smartbi-Mining 数据挖掘。 2.4 移动端 V10.5 移动端增强优化了批注 https://wiki.smartbi.com.cn/pages/viewpage.action