...

➢ GPU（重点关注）：

○ Nvidia显卡Amphere架构。

○ 显存要求80G+，建议两张卡。

○ 建议⽣产显卡⽤：A100、A800、H100、H800 （显卡可买多张）。

○ 显卡配置相关补充：（价格预计20-50万每张，具体硬件客户⾃⼰采购，采购可能需考虑美制裁管控后对公⽆法购买的问题）。

2、操作系统及环境要求

1.1. 服务器配置清单

注意：小模型版本-目前已经暂停发布小模型版本

...

(1) 服务器CPU要求支持AVX指令集，否则无法安装 TensorFlow；

(2) 由于 arm64 所使用的指令集缺少对 docker 和深度学习的支持，因此不支持 arm64架构 的CPU，仅支持X86架构的CPU

(3) 不建议将AIChat 和 Smartbi 部署在同一台服务器上，由于 NLA 对计算和内存资源的使用量均较高，会抢占资源导致卡顿、死机、进程被杀死等问题。

(34) 当服务器配置为最低配置时，即16核32GB。并发数推荐为30个左右，最高不应超过40个。不同并发数下的平均响应时间如下：

...

1.2. 系统环境要求

AIChat是采用docker容器部署的

❖ 该组件基础软件环境要求

    ➢ 系统 ：Linux 64-bit Ubuntu 20.04，AI机器学习系统⼀般使⽤Ubuntu

    ➢ GPU驱动：根据显卡硬件选择对应版本驱动，尽量对应的GPU-Driver版本号为 535.129.03 +

    ➢ CUDA&CUDNN：根据GPU驱动版本安装对应版本cuda，cuda版本为12.2；cudnn同理要对应cuda.

    ➢ Docker容器：⽀持 docker24.因此服务器的系统环境需要支持 docker24.02及以上 和 docker-compose 2.21.0 +    ➢ Nvidia-docker2: 要求版本 2.13.0 +

❖ cuda版本参考⽂档：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

❖ gpu驱动参考⽂档：https://www.nvidia.cn/Download/index.aspx?lang=cn&nbsp

以下系统版本支持部署 AIChat：

...

具体Smartbi的环境可参考准备操作系统