阶段五:智能聊天机器人大模型生产上线部署(centos stream 版本)
1- 工单说明
基于阿里云ECS云服务器完成基于ChatGLM-6B语言模型快速搭建AI对话机器人。
开发给出的软件要求,可参考:
操作系统:Linux
显存(GPU): 最低4GB 建议8GB以上
内存: 大于等于8GB
CPU: 大于等于4核
磁盘空间: 建议大于40GB注意事项:
- 修改配置前先备份原文件,尤其是 SSH、Nginx、数据库和 Kubernetes 生产配置。
2- 申领阿里云ECS服务器

- 选择实例与镜像:

存储:
建议: 系统盘的大小,调整为60GB以上,以确保可以正常安装操作

带宽与安全组:

管理设置:

下单购买:

购买成功后, 进入管理控制台:


3- 通过远程连接工具连接


说明: 此处远程主机IP为云服务器的公网IP(此IP随着每次释放,可能都会有变化),无法使用私有IP访问。

默认下,仅阿里云内部访问下才可使用私网IP



4- 基础Python环境准备
由于本次基于chatglm-6b大模型部署的聊天机器人,采用的Python语言开发的,使用大量的Python核心库,顾首先需要再服务器中安装Python环境。
本次采用安装Anaconda来安装,Anaconda是一款开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项,同时Anaconda还提供虚拟环境,支持隔离不同的Python环境,从而减少互相影响。故一般部署Python项目主要安装以Anaconda版本为主
- 1- 下载Anaconda
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh命令作用:
- 访问
https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh;curl默认把响应写到终端,wget默认下载到文件。可据 HTTP 状态、响应内容或下载结果判断服务是否可访问。
执行结果:
- 成功后目标文件会下载到当前目录或
-O指定的位置。
关键参数:
注意事项:
**注意事项:**