页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

LLM⼤模型基座组件

❖ 该组件推荐硬件配置要求

CPU:推荐X86架构,建议跟随GPU显卡去调配CPU等硬件:支持X86/ARM架构,推荐X86架构,建议跟随GPU显卡去调配CPU等硬件最低配置。 

组件配置CPU内存硬盘
大模型最低配置X86架构 32核X86/ARM 32核128G1TB+

GPU(重点关注):

配置显卡
最低配置8*4090 24G
推荐配置8*A100 80G

...

2、操作系统及环境要求

1.1. 服务器配置清单

注意:小模型版本-目前已经暂停发布小模型版本

组件配置CPU内存硬盘

AIChat核心服务

最低配置

X86架构X86/ARM 16核

32G

1TB+

推荐配置X86架构 X86/ARM32核128G1TB+

(1) 服务器X86 CPU要求支持AVX指令集,否则无法安装 TensorFlow;

...