...
(3) 不建议将AIChat 和 Smartbi 部署在同一台服务器上,由于 NLA 对计算和内存资源的使用量均较高,会抢占资源导致卡顿、死机、进程被杀死等问题。
(4) 当服务器配置为最低配置时,即16核32GB。并发数推荐为30个左右,最高不应超过40个。不同并发数下的平均响应时间如下:时,即16核32GB。并发数推荐为30个左右,最高不应超过40个。
...
并发数
...
平均响应时间
...
20
...
2.487s
...
30
...
3.669s
...
40
...
30用户并发情况(每用户登录5次,每次登录执行5次查询)(不同大模型表现不一样,对速度会有很大影响;查询内容不同,也会影响大模型响应时间)
1.2. 系统环境要求
AIChat是采用docker容器部署的
因此服务器的系统环境需要支持 docker24.02及以上 和 docker-compose 2.21.0 +
...
具体Smartbi的环境可参考准备操作系统
3、默认开通端口
单节点:
服务名 | 端口 |
---|---|
AIChat | 9060、9081 |
集群:
服务名 | 端口 |
---|---|
AIChat | 9060、9081 |
Docker Swarm | 2377、2376、5000、7946、4789、5001 |
GlusterFs | 24007、24008、24009、49152、49153、49154、49155、49156、38465、38466、38467、111 |