...
○ 建议⽣产显卡⽤：A100、A800、H100、H800 （显卡可买多张）。
○ 显卡配置相关补充：（价格预计20-50万每张，具体硬件客户⾃⼰采购，50万每张，具体硬件客户⾃⼰采购，采购可能需考虑美制裁管控后对公⽆法购买的问题）。
采购可能需考虑美制裁管控后对公⽆法购买的问题）。
| 型号 | H100 80GB SXM5 | H800 80GB SXM5 | H100 80G PCle | H800 80G PCle | A100 80GB SXM5 | A800 80GB SXM5 | A100 80G PCle | A800 80G PCle | |
|---|---|---|---|---|---|---|---|---|---|
| 应用场景 | AI/HPC科学计算HPC 科学计算 | AI | AI/HPC 科学计算 | AI | AI/ HPCHPC 科学计算 科学计算 | AI/ HPCHPC 科学计算 科学计算 | AI/HPC 科学计算 | AI/HPC 科学计算 | |
| GPU架构 | Hopper | Hopper | Hopper | Hopper | Ampere | Ampere | Ampere | Ampere | |
GPU核心版本 | GH100 | GH100 | GH100 | GH100 | GH100 | GH100 | GH100 | GH100 | |
| 单精度浮点核心(CUDA Core) | 16896 | 16896 | 14592 | 14592 | 6912 | 6912 | 6912 | 6912 | |
| 显存容量 | 80GB HBM3 | 80GB HBM3 | 80GB HBM2e | 80GB HBM2e | 80GB HBM2e | 80GB HBM2e | 80GB HBM2e | 80GB HBM2e | |
| 显存带宽 | 3.35TB/s | 3.35TB/s | 2TB/s | 2TB/s | 2039GB/s | 2039GB/s | 1935GB/s | 1935GB/s | |
NVLink | NVLink 4.0 NVSwitch 900GB/s | NVLink 4.0 NVSwitch 400GB/s | NVLink bridge 600GB/s | NVLink bridge 400GB/s | NVLink 3.0 NVSwitch 600GB/s | NVLink 3.0 NVSwitch 400GB/s | NVLink bridge 600GB/s | NVLink bridge 400GB/s | |
| 张量运算核心(Tensor Core) | 528(4代) | 528(4代) | 456(4代) | 456(4代) | 432 | 432 | 432 | 432 | |
| 光线追踪核心(RT Core) | - | - | - | - | - | - | - | - | |
性能指标 | FP64浮点(TFLOPS) | 34 | 1 | 26 | 0.8 | 9.7 | 9.7 | 9.7 | 9.7 |
| FP32浮点(TFLOPS) | 67 | 60 | 51 | 51 | 19.5 | 19.5 | 19.5 | 19.5 | |
| FP64 Tensor Core (TFLOPS) | 67 | 60 | 51 | 51 | 19.5 | 19.5 | 19.5 | 19.5 | |
| TF32 Tensor Core (TFLOPS) | 989 | 989 | 756 | 756 | 156 | 156 | 156 | 156 | |
| BF16 Tensor Core (TFLOPS) | 1979 | 1979 | 1513 | 1513 | 312 | 312 | 312 | 312 | |
| FP16 Tensor Core (TFLOPS) | 1979 | 1979 | 1513 | 1513 | 312 | 312 | 312 | 312 | |
| INT8 Tensor Core (TFLOPS) | 3958 | 3958 | 3025 | 3025 | 624 | 624 | 624 | 624 | |
| INT4 Tensor Core (TFLOPS) | - | - | - | - | 1248 | - | 1248 | 1248 | |
| 最大功耗 | 700W | 700W | 350W | 350W | 400W | 400W | 300W | 300W | |
...
AIChat是采用docker容器部署的
❖ 该组件基础软件环境要求
➢ ➢ 系统 ：Linux 64-bit Ubuntu 20.04，AI机器学习系统⼀般使⽤Ubuntu
...
➢ Docker容器：⽀持docker19.03 以上 和 docker-compose 1.24.* +
➢ Nvidia-docker2: 要求版本 2.13.0 +
...
