1、硬件建议
LLM⼤模型基座组件
❖ 该组件推荐硬件配置要求
...
1、AIChat环境要求
AIChat支持X86/ARM架构，推荐X86架构。
1.1. 服务器配置清单
...
2、操作系统及环境要求
1.1. 服务器配置清单
...
| 组件 | 配置 | CPU | 内存 | 硬盘 |
|---|
AIChat核心服务 | 最低配置 |
X86/ARM 16核 | 32G | 1TB+ |
➢ GPU（重点关注）：
○ Nvidia显卡Amphere架构。
○ 显存要求80G+，建议两张卡。
○ 建议⽣产显卡⽤：A100、A800、H100、H800 （显卡可买多张）。
○ 显卡配置相关补充：（价格预计20-50万每张，具体硬件客户⾃⼰采购，采购可能需考虑美制裁管控后对公⽆法购买的问题）。
...
H100 80GB SXM5
...
H800 80GB SXM5
...
H100 80G PCle
...
H800 80G PCle
...
A100 80GB SXM5
...
A800 80GB SXM5
...
A100 80G PCle
...
A800 80G PCle
...
AI/HPC 科学计算
...
AI/HPC 科学计算
...
AI/HPC 科学计算
...
AI/HPC 科学计算
...
AI/HPC 科学计算
...
AI/HPC 科学计算
...
Hopper
...
GPU核心版本
...
NVLink
...
NVLink 4.0 NVSwitch 900GB/s
...
性能指标
(PEAK)
...
| 推荐配置 | X86/ARM32核 | 128G | 1TB+ |
(1) 如果是X86 CPU，则要求支持AVX指令集，否则无法安装 TensorFlow；
AVX指令集（Advanced Vector Extensions）由Intel在2008年首次提出，并于2011年第一季度随着Sandy Bridge架构处理器的发布而正式应用于市场。
执行 lscpu | grep avx 查询CPU是否支持AVX。
(2) AIChat 和 Smartbi 可以部署在一台服务器，但生产使用时建议分开部署在不同服务器上。由于 NLA 对计算和内存资源的使用量均较高，会抢占资源导致卡顿、死机、进程被杀死等问题。
(3) 当服务器配置为推荐配置时，即32核128GB。并发数推荐为30个左右，最高不应超过40个。
30用户并发情况（每用户登录5次，每次登录执行5次查询）（不同大模型表现不一样，对速度会有很大影响；查询内容不同，也会影响大模型响应时间）
1.2. 系统环境要求
AIChat采用docker容器部署，因此服务器的系统环境需要支持 docker 24.02及以上 和 docker-compose 2.21.0 +
以下系统版本支持部署 AIChat：
| 操作系统 | 系统 | 版本 |
|---|---|---|
| Ubuntu操作系统 | Ubuntu | Ubuntu-16.04.3以上 |
| CentOS操作系统 | Centos | CentOS-7以上 |
| 银河麒麟操作系统 | KylinOS | KylinOS-10以上 |
1.3. Smartbi版本要求
版本要求 | License |
|---|---|
Smartbi V11 及以上 | License 需要包含“自然语言分析”相应权限 |
具体Smartbi的环境可参考准备操作系统
1.4. 第三方组件版本要求
AIchat的组件内置了mongodb, mysql, redis，如何需要替换为云服务，版本要求如下：
组件 | 版本要求 |
|---|---|
Mysql | >=5.7 |
| Redis | >=5.0.3 |
| mongodb | >=4.2.6 |
2、默认开通端口
单节点：
| 服务名 | 端口 |
|---|---|
| AIChat | 9060、9081 |
| Smartbi | 18080 |
集群：
| 服务名 | 端口 |
|---|---|
AIChat | 9060、9081 |
| Smartbi | 18080 |
Docker Swarm | 2377、2376、5000、7946、4789、5001 |
GlusterFs | 24007、24008、24009、49152、49153、49154、49155、49156、38465、38466、38467、111 |
3、大模型
推荐使用云厂商的在线大模型，例如阿里云千问、Deepseek、火山引擎、华为云、腾讯云等。开通账号并创建API-Key，配置方法参见：连接大模型。
如果需要在本地部署大模型（例如qwen 2.5 72b），推荐硬件配置要求：
➢ CPU：支持X86/ARM架构，推荐X86架构，建议跟随GPU显卡去调配CPU等硬件，最低配置。
| 组件 | 配置 | CPU | 内存 | 硬盘 |
|---|
| 大模型 | 最低配置 |
X86架构 16核
32G
1TB+
(1) 服务器CPU要求支持AVX指令集，否则无法安装 TensorFlow；
(2) 不建议将AIChat 和 Smartbi 部署在同一台服务器上，由于 NLA 对计算和内存资源的使用量均较高，会抢占资源导致卡顿、死机、进程被杀死等问题。
(3) 当服务器配置为最低配置时，即16核32GB。并发数推荐为30个左右，最高不应超过40个。不同并发数下的平均响应时间如下：
...
并发数
...
平均响应时间
...
20
...
2.487s
...
30
...
3.669s
...
40
...
4.814s
1.2. 系统环境要求
AIChat是采用docker容器部署的
❖ 该组件基础软件环境要求
➢ 系统 ：Linux 64-bit Ubuntu 20.04，AI机器学习系统⼀般使⽤Ubuntu
➢ GPU驱动：根据显卡硬件选择对应版本驱动，尽量对应的GPU-Driver版本号为 535.129.03 +
➢ CUDA&CUDNN：根据GPU驱动版本安装对应版本cuda，cuda版本为12.2；cudnn同理要对应cuda.
➢ Docker容器：⽀持docker19.03 以上 和 docker-compose 1.24.* +
➢ Nvidia-docker2: 要求版本 2.13.0 +
❖ cuda版本参考⽂档：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
❖ gpu驱动参考⽂档：https://www.nvidia.cn/Download/index.aspx?lang=cn 
以下系统版本支持部署 AIChat：
...
系统
...
版本
...
Ubuntu
...
Ubuntu-16.04.3以上
...
CentOS-7以上
...
KylinOS-10以上
1.3. Smartbi版本要求
版本要求
Smartbi V11 及以上
| X86/ARM 32核 | 128G | 1TB+ |
➢ GPU（重点关注）：
| 配置 | 显卡 |
|---|---|
| 最低配置 | 8*4090 24G |
| 推荐配置 | 8*A100 80G |
