...
9009是用于集群之间数据交换
PS:一般不建议修改端口配置
2.2.5 数据存储目录配置
...
修改的配置文件/etc/clickhouse-server/config.xml,放开注释即可。IPV4地址和IPV6地址只能配置一个,否则会出现端口冲突的报错。
开启监听0.0.0.0的配置。
2.2.7 设置smartbimpp内存大小
...
(可选)查询语句大小限制,默认的max_query_size最大是256 KiB,如果查询语句比较大,可以配置此项,下图配置为500M,可自行调整,但不超过mpp最大内存
2.2.8 设置用户密码
...
修改的配置文件/etc/clickhouse-server/users.xml
- 方法一:设置明文密码
- 方法二:设置加密密码(sha256sum加密)
代码块 | ||
---|---|---|
| ||
echo -n "manager" | sha256sum | tr -d '-' |
设置密码
3 配置SmartbiMPP集群
...
找到<remote_servers>标签,在标签下面增加集群配置。
如果smartbiMPP只有两个节点,建议配置1分片2副本集群。参考配置如下:
...
代码块 | ||||
---|---|---|---|---|
| ||||
<!--默认值为0,表示不启用原子写入;改为与smartbi默认值为0,表示不启用原子写入;设置为与smartbi_replica集群中的副本数相等--> <insert_quorum>2</insert_quorum> <!--默认值为600000毫秒(10分钟);改为30分钟以防止写入和同步副本超时--> <insert_quorum_timeout>1800000</insert_quorum_timeout> |
...
数据连接 > 高速缓存库 ,进入高速缓存库的配置项,在连接字符串最后面添加参数 "&clusterReplicaName=smartbi_cluster_1S_2R" ,如下图所示。
3. 运维操作
3.
...
1 停止/启动/重启Smartbi MPP
代码块 | ||
---|---|---|
| ||
#停止服务
clickhouse stop
#启动服务
clickhouse start
#重启服务
clickhouse restart
#开机启动
systemctl enable clickhouse-server |
3.2 Smartbi MPP高可用设置
多副本集群默认宕机节点后,无法正常查询,和建表,如果需要实现宕机1个节点也能正常使用,可以参考以下方法进行配置
1、1分片2副本集群为例,修改集群配置文件(每个MPP节点都要调整)
代码块 | ||
---|---|---|
| ||
vi /etc/clickhouse-server/users.xml |
找到以下配置修改<insert_quorum选项至为1,表示只要有一个副本表写入成功,即数据写入完成
代码块 | ||||
---|---|---|---|---|
| ||||
<!--默认值为0,表示不启用原子写入;设置为与smartbi_replica集群中的副本数减1,即2副本设置为1,3副本设置为2,以此类推-->
<insert_quorum,1</insert_quorum> |
2、新增配置项,允许1个节点宕机后,仍然允许执行ddl等建表语句。
默认MPP多副本集群在执行ddl语句时,会向所有节点都发送执行语句,如果有节点宕机时,无法连接返回超时错误(默认180s)
代码块 | ||
---|---|---|
| ||
vi /etc/clickhouse-server/users.xml |
添加以下配置
代码块 | ||||
---|---|---|---|---|
| ||||
<!--null_status_on_timeout 即使节点宕机;连接超时,但是不返回错误,而是返回null信息-->
<distributed_ddl_output_mode>null_status_on_timeout</distributed_ddl_output_mode>
<!--ddl语句执行超时时间,默认180s,可以自定义-->
<distributed_ddl_task_timeout>60</distributed_ddl_task_timeout> |
保存并重启所有MPP节点即可,当集群有1个节点宕机时,不影响高速缓存库查询和抽取。
注意 |
---|
MPP多副本集群宕机一个节点能,虽然仍然能建表、查询、插入数据等操作,但是速度会变慢(ddl语句时依旧会等待180s超时时间,可以配置),建议尽快的恢复宕机节点,而不是继续使用 另外,MPP作为高速缓存库使用,而不是业务库,当MPP数据异常时,建议是清理掉数据,并重新抽取。 |