1、硬件建议

LLM⼤模型基座组件

❖ 该组件推荐硬件配置要求

➢ CPU：X86架构，建议跟随GPU显卡去调配CPU等硬件，最低配置

➢ GPU（重点关注）：

2、操作系统及环境要求

1.1. 服务器配置清单

注意：小模型版本-目前已经暂停发布小模型版本

(1) 服务器CPU要求支持AVX指令集，否则无法安装 TensorFlow；

(2) 由于 arm64 所使用的指令集缺少对 docker 和深度学习的支持，因此不支持 arm64架构 的CPU，仅支持X86架构的CPU

(3) 不建议将AIChat 和 Smartbi 部署在同一台服务器上，由于 NLA 对计算和内存资源的使用量均较高，会抢占资源导致卡顿、死机、进程被杀死等问题。

(4) 当服务器配置为推荐配置时，即32核128GB。并发数推荐为30个左右，最高不应超过40个。

30用户并发情况（每用户登录5次，每次登录执行5次查询）（不同大模型表现不一样，对速度会有很大影响；查询内容不同，也会影响大模型响应时间）

1.2. 系统环境要求

AIChat是采用docker容器部署的

因此服务器的系统环境需要支持 docker24.02及以上 和 docker-compose 2.21.0 +

以下系统版本支持部署 AIChat：

1.3. Smartbi版本要求

具体Smartbi的环境可参考准备操作系统

1.4. 第三方组件版本要求

AIchat的组件内置了mongodb, mysql, redis，如何需要替换为云服务，版本要求如下：

3、默认开通端口

单节点：

集群：