手记

在ubuntu上部署chatglm

chatglm是清华大学推出的一个中英双语大模型,通过万亿字符的文本与代码预训练,结合有监督微调,具备丰富的能力,包括通用问答、多轮对话、角色扮演、文本生成、代码生成等功能。下文讲述了在ubuntu上部署调用的基本流程

1、获取代码
     在服务器上创建一个目录,如chatglm
     从https://github.com/THUDM/ChatGLM-6B上获取代码,放到该目录中
     
2、下载模型
     在chatglm目录下创建model文件夹,从https://huggingface.co/THUDM/chatglm-6b/tree/main下载模型

3、创建虚拟环境并激活
      

      

4、下载依赖
  pip install –r requirements.txt


5、修改web_demo.py文件如下,以便加载本地模型
     

6、修改web_demo.py文件中如下位置,以便非本机访问
     

7、启动
     python web_demo.py
     

8、打开网页
     
       接下来就可以输入问题,提交,看看它的表现了

0人推荐
随时随地看视频
慕课网APP