【扩展】阶段五:智能聊天机器人大模型生产上线部署(Ubuntu 版本)

1- 工单说明

基于阿里云ECS云服务器完成基于ChatGLM-6B语言模型快速搭建AI对话机器人。

开发给出的软件要求,可参考:
    操作系统: Ubuntu系统(必须安装显卡驱动,模型基于GPU运行)
    硬件要求: 最低 4核 + 8GB内存 + 8GB显存 

已给出相关部署文档可参考

注意事项:

2- 申领阿里云ECS服务器

image
image
image

存储:

image

带宽与安全组:

image

管理设置:

image

下单购买:

image

购买成功后, 进入管理控制台

image

3- 通过远程连接工具连接

image
image

说明: 此处远程主机IP为云服务器的公网IP(此IP随着每次释放,可能都会有变化),无法使用私有IP访问。

image

默认下,仅阿里云内部访问下才可使用私网IP

image
image
image

4- 基础Python环境准备

由于本次基于chatglm-6b大模型部署的聊天机器人,采用的Python语言开发的,使用大量的Python核心库,顾首先需要再服务器中安装Python环境。

本次采用安装Anaconda来安装,Anaconda是一款开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项,同时Anaconda还提供虚拟环境,支持隔离不同的Python环境,从而减少互相影响。故一般部署Python项目主要安装以Anaconda版本为主

wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh

命令作用:

执行结果:

关键参数:

注意事项:


![](/assets/feishu-images/c6dac994b76e4882d76ed977.png)



注意事项:


![](/assets/feishu-images/a6f5162f63e6bc557debb330.png)


注意事项:

修改cli_demo.py文件中的模型位置:

image

当然,也支持可视化的方式来运行:


**注意事项:**

注意事项:


![](/assets/feishu-images/e9c7e014abd91d56c97f7b0c.png)

![](/assets/feishu-images/1bfedb7df9cb1e59fa461c80.png)


http://47.113.207.49/

注意事项:

什么是API服务接口:

API服务接口是一个通过网络(通常基于HTTP/HTTPS协议)对外暴露的、具有特定地址(IP/端口/路径)的编程入口,客户端通过向该地址发送结构化的请求(包含参数),即可调用远端的特定功能并获取结构化的响应结果。

需求说明:

实操说明:

修改api.py文件中的模型位置:


**注意事项:**

安装额外依赖:

注意事项:


**注意事项:**