...
LLM⼤模型基座组件
❖ 该组件推荐硬件配置要求
➢ CPU:推荐X86架构,建议跟随GPU显卡去调配CPU等硬件:支持X86/ARM架构,推荐X86架构,建议跟随GPU显卡去调配CPU等硬件,最低配置。
组件 | 配置 | CPU | 内存 | 硬盘 |
---|---|---|---|---|
大模型 | 最低配置X86架构 32核 | X86/ARM 32核 | 128G | 1TB+ |
➢ GPU(重点关注):
配置 | 显卡 |
---|---|
最低配置 | 8*4090 24G |
推荐配置 | 8*A100 80G |
...
2、操作系统及环境要求
1.1. 服务器配置清单
注意:小模型版本-目前已经暂停发布小模型版本
组件 | 配置 | CPU | 内存 | 硬盘 |
---|---|---|---|---|
AIChat核心服务 | 最低配置 | X86架构X86/ARM 16核 | 32G | 1TB+ |
推荐配置 | X86架构 X86/ARM32核 | 128G | 1TB+ |
(1) 服务器X86 CPU要求支持AVX指令集,否则无法安装 TensorFlow;
...