1、硬件建议
LLM⼤模型基座组件
❖ 该组件推荐硬件配置要求
➢ CPU：X86架构，建议跟随GPU显卡去调配CPU等硬件，最低配置
...
➢ GPU（重点关注）：
...
1、AIChat环境要求
AIChat支持X86/ARM架构，推荐X86架构。
1.1. 服务器配置清单注意：小模型版本-目前已经暂停发布小模型版本
| 组件 | 配置 | CPU | 内存 | 硬盘 |
|---|---|---|---|---|
AIChat核心服务 | 最低配置 | X86架构X86/ARM 16核 | 32G | 1TB+ |
| 推荐配置 | X86架构 X86/ARM32核 | 128G | 1TB+ |
(1) 服务器CPU要求支持AVX指令集，否则无法安装 TensorFlow；
(2) 由于 arm64 所使用的指令集缺少对 docker 和深度学习的支持，因此不支持 arm64架构 的CPU，仅支持X86架构的CPU
(3) 不建议将AIChat 和 Smartbi 部署在同一台服务器上，由于 如果是X86 CPU，则要求支持AVX指令集，否则无法安装 TensorFlow；
AVX指令集（Advanced Vector Extensions）由Intel在2008年首次提出，并于2011年第一季度随着Sandy Bridge架构处理器的发布而正式应用于市场。
执行 lscpu | grep avx 查询CPU是否支持AVX。
(2) AIChat 和 Smartbi 可以部署在一台服务器，但生产使用时建议分开部署在不同服务器上。由于 NLA 对计算和内存资源的使用量均较高，会抢占资源导致卡顿、死机、进程被杀死等问题。
(43) 当服务器配置为推荐配置时，即32核128GB。并发数推荐为30个左右，最高不应超过40个。
30用户并发情况（每用户登录5次，每次登录执行5次查询）（不同大模型表现不一样，对速度会有很大影响；查询内容不同，也会影响大模型响应时间）
1.2. 系统环境要求
AIChat是采用docker容器部署的
因此服务器的系统环境需要支持 docker24AIChat采用docker容器部署，因此服务器的系统环境需要支持 docker 24.02及以上 和 docker-compose 2.21.0 +
...
版本要求 | License |
|---|---|
Smartbi V11 及以上 | License 需要包含“自然语言分析”相应权限 |
具体Smartbi的环境可参考准备操作系统
...
1.4. 第三方组件版本要求
AIchat的组件内置了mongodb, mysql, redis，如何需要替换为云服务，版本要求如下：
组件 | 版本要求 |
|---|---|
Mysql | >=5.7 |
| Redis | >=5.0.3 |
| mongodb | >=4.2.6 |
2、默认开通端口
单节点：
| 服务名 | 端口 |
|---|---|
| AIChat | 9060、9081 |
| Smartbi | 18080 |
集群：
| 服务名 | 端口 |
|---|---|
AIChat | 9060、9081 |
| Smartbi | 18080 |
Docker Swarm | 2377、2376、5000、7946、4789、5001 |
GlusterFs | 24007、24008、24009、49152、49153、49154、49155、49156、38465、38466、38467、111 |
3、大模型
推荐使用云厂商的在线大模型，例如阿里云千问、Deepseek、火山引擎、华为云、腾讯云等。开通账号并创建API-Key，配置方法参见：连接大模型。
如果需要在本地部署大模型（例如qwen 2.5 72b），推荐硬件配置要求：
➢ CPU：支持X86/ARM架构，推荐X86架构，建议跟随GPU显卡去调配CPU等硬件，最低配置。
| 组件 | 配置 | CPU | 内存 | 硬盘 |
|---|---|---|---|---|
| 大模型 | 最低配置 | X86/ARM 32核 | 128G | 1TB+ |
➢ GPU（重点关注）：
| 配置 | 显卡 |
|---|---|
| 最低配置 | 8*4090 24G |
| 推荐配置 | 8*A100 80G |
