1、大模型
推荐使用云厂商的在线大模型,例如阿里云千问、Deepseek、火山引擎、华为云、腾讯云等。开通账号并创建API-Key,配置方法参见:连接大模型。
如果需要在本地部署大模型(例如qwen 2.5 72b),推荐硬件配置要求:
➢ CPU:支持X86/ARM架构,推荐X86架构,建议跟随GPU显卡去调配CPU等硬件,最低配置。
...
➢ GPU(重点关注):
...
2、AIChat环境要求
1、AIChat环境要求
AIChat支持X86/ARM架构,推荐X86架构。
...
AVX指令集(Advanced Vector Extensions)由Intel在2008年首次提出,并于2011年第一季度随着Sandy Bridge架构处理器的发布而正式应用于市场。使用 Bridge架构处理器的发布而正式应用于市场。
执行 lscpu | grep avx 查询CPU是否支持AVX。
(2) 不建议将AIChat 和 Smartbi 部署在同一台服务器上,由于 可以部署在一台服务器,但生产使用时建议分开部署在不同服务器上。由于 NLA 对计算和内存资源的使用量均较高,会抢占资源导致卡顿、死机、进程被杀死等问题。
...
组件 | 版本要求 |
---|---|
Mysql | >=5.7 |
Redis | >=5.0.3 |
mongodb | >=4.2.6 |
...
2、默认开通端口
单节点:
服务名 | 端口 |
---|---|
AIChat | 9060、9081 |
Smartbi | 18080 |
集群:
服务名 | 端口 |
---|---|
AIChat | 9060、9081 |
Smartbi | 18080 |
Docker Swarm | 2377、2376、5000、7946、4789、5001 |
GlusterFs | 24007、24008、24009、49152、49153、49154、49155、49156、38465、38466、38467、111 |
3、大模型
推荐使用云厂商的在线大模型,例如阿里云千问、Deepseek、火山引擎、华为云、腾讯云等。开通账号并创建API-Key,配置方法参见:连接大模型。
如果需要在本地部署大模型(例如qwen 2.5 72b),推荐硬件配置要求:
➢ CPU:支持X86/ARM架构,推荐X86架构,建议跟随GPU显卡去调配CPU等硬件,最低配置。
组件 | 配置 | CPU | 内存 | 硬盘 |
---|---|---|---|---|
大模型 | 最低配置 | X86/ARM 32核 | 128G | 1TB+ |
➢ GPU(重点关注):
配置 | 显卡 |
---|---|
最低配置 | 8*4090 24G |
推荐配置 | 8*A100 80G |