在ubuntu上部署chatglm

chatglm是清华大学推出的一个中英双语大模型，通过万亿字符的文本与代码预训练，结合有监督微调，具备丰富的能力，包括通用问答、多轮对话、角色扮演、文本生成、代码生成等功能。下文讲述了在ubuntu上部署调用的基本流程

1、获取代码
     在服务器上创建一个目录，如chatglm
     从https://github.com/THUDM/ChatGLM-6B上获取代码，放到该目录中
     
2、下载模型
     在chatglm目录下创建model文件夹，从https://huggingface.co/THUDM/chatglm-6b/tree/main下载模型

3、创建虚拟环境并激活
      

      

4、下载依赖
  pip install –r requirements.txt

5、修改web_demo.py文件如下，以便加载本地模型
     

6、修改web_demo.py文件中如下位置，以便非本机访问
     

7、启动
     python web_demo.py
     

8、打开网页
     
       接下来就可以输入问题，提交，看看它的表现了