页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

9009是用于集群之间数据交换

PS:一般不建议修改端口配置
Image Modified

2.2.5 数据存储目录配置

...

修改的配置文件/etc/clickhouse-server/config.xml,放开注释即可。IPV4地址和IPV6地址只能配置一个,否则会出现端口冲突的报错。
开启监听0.0.0.0的配置。
Image Modified

2.2.7 设置smartbimpp内存大小

...

(可选)查询语句大小限制,默认的max_query_size最大是256 KiB,如果查询语句比较大,可以配置此项,下图配置为500M,可自行调整,但不超过mpp最大内存

Image Modified


2.2.8 设置用户密码

...

修改的配置文件/etc/clickhouse-server/users.xml

  • 方法一:设置明文密码

Image Modified

  • 方法二:设置加密密码(sha256sum加密)
代码块
linenumberstrue
echo -n "manager" | sha256sum | tr -d '-'

Image Modified

设置密码

Image Modified

3 配置SmartbiMPP集群

...

找到<remote_servers>标签,在标签下面增加集群配置。

Image Modified

如果smartbiMPP只有两个节点,建议配置1分片2副本集群。参考配置如下:

...

代码块
linenumberstrue
collapsetrue
<!--默认值为0,表示不启用原子写入;改为与smartbi默认值为0,表示不启用原子写入;设置为与smartbi_replica集群中的副本数相等-->
<insert_quorum>2</insert_quorum>

<!--默认值为600000毫秒(10分钟);改为30分钟以防止写入和同步副本超时-->
<insert_quorum_timeout>1800000</insert_quorum_timeout>

...

数据连接 > 高速缓存库 ,进入高速缓存库的配置项,在连接字符串最后面添加参数 "&clusterReplicaName=smartbi_cluster_1S_2R" ,如下图所示。

3. 运维操作

3.

...

1 停止/启动/重启Smartbi MPP

代码块
linenumberstrue
#停止服务
clickhouse stop
#启动服务
clickhouse start
#重启服务
clickhouse restart
#开机启动
systemctl enable clickhouse-server

3.2 Smartbi MPP高可用设置

多副本集群默认宕机节点后,无法正常查询,和建表,如果需要实现宕机1个节点也能正常使用,可以参考以下方法进行配置

1、1分片2副本集群为例,修改集群配置文件(每个MPP节点都要调整)

代码块
linenumberstrue
vi /etc/clickhouse-server/users.xml

找到以下配置修改<insert_quorum选项至为1,表示只要有一个副本表写入成功,即数据写入完成

代码块
linenumberstrue
collapsetrue
<!--默认值为0,表示不启用原子写入;设置为与smartbi_replica集群中的副本数减1,即2副本设置为1,3副本设置为2,以此类推-->
<insert_quorum,1</insert_quorum>


2、新增配置项,允许1个节点宕机后,仍然允许执行ddl等建表语句。

默认MPP多副本集群在执行ddl语句时,会向所有节点都发送执行语句,如果有节点宕机时,无法连接返回超时错误(默认180s)

代码块
linenumberstrue
vi /etc/clickhouse-server/users.xml

添加以下配置

代码块
linenumberstrue
collapsetrue
<!--null_status_on_timeout 即使节点宕机;连接超时,但是不返回错误,而是返回null信息-->
<distributed_ddl_output_mode>null_status_on_timeout</distributed_ddl_output_mode>

<!--ddl语句执行超时时间,默认180s,可以自定义-->
<distributed_ddl_task_timeout>60</distributed_ddl_task_timeout>

Image Added

保存并重启所有MPP节点即可,当集群有1个节点宕机时,不影响高速缓存库查询和抽取。

注意

MPP多副本集群宕机一个节点能,虽然仍然能建表、查询、插入数据等操作,但是速度会变慢(ddl语句时依旧会等待180s超时时间,可以配置),建议尽快的恢复宕机节点,而不是继续使用

另外,MPP作为高速缓存库使用,而不是业务库,当MPP数据异常时,建议是清理掉数据,并重新抽取。