230502-LLM-Vicuna介绍、安装与注意事项整理

最终效果

• 在对话过程中，GPU与CPU均会有波动，但是主要还是CPU波动为主

相关资料

配置安装

本文主要参考的是008与018，但是由于oobabooga-windows.zip已经更新，直接参考这两个方法都失效了。

Step 1: 下载权重

• 网址：https://huggingface.co/anon8231489123/vicuna-13b-GPTQ-4bit-128g/tree/main
• 文件：vicuna-13b-4bit-128g.safetensors 7.45G

Step 2: 下载UI界面

• 网址：https://github.com/oobabooga/text-generation-webui
• 文件：oobabooga-windows.zip

Step 3：双击安装

• start_windows.bat
• update_windows.bat

• 如果网络原因，有部分没有安装成功
• 可以多次点击start_windows.bat, update_windows.bat直至安装成功
  
• ⚠️ 注意1: 默认的torch安装的是cpu版本，如果是安装GPU版本，需要自己指定版本，可参考如下

conda install torchvision torchaudio pytorch-cuda=11.7 git -c pytorch -c nvidia

• ⚙️ 否则：

  • 1. 始终默认使用cpu；
  • 2. UI界面的Chat窗口始终无法回答is typing...;
  • 3. 在最后的Tab面板选择default窗口可单独显示回答

• 修改对话窗口
  

• 输入提示词：
  

• ⚠️注意2: 有些下载的模型可能不匹配或不兼容，会报错，可以多试几个其它的模型，例如下面截图的第2个模型
  

参考资料

本文主要参考的是008与018:

VICUNA是一个开源GPT项目，对比最新一代的chat gpt4.0, 已经达到了它90%的能力。并且，我们可以把它安装在自己的电脑上！

这期视频讲的是，如何在自己的电脑上面安装开源的GPT模型VICUNA。

除此之外，我们还将给GPT模型配置一个友善的可视化界面 - OOBABOOGA！在上面可以聊天，训练，培养劳拉模型。。。

### 关于项目需要的硬件配置，信息和安装指示，可以在git hub网站上获取。
https://github.com/lm-sys/FastChat


### 文字链接：
https://www.notion.so/90-ChatGPT-VICUNA-OOBABOOGA-WEBUI-8ef428d225eb449a90982892b3827497

### 【错误提示】
1. 安装过程中途发生问题，中途退出或者无法继续安装：
删除oobabooga-windows文件夹里面的installer_files文件夹。点击install.bat重新安装；

2. WEBUI运行之后，出现Expecting value: line 1 column 1 (char 0)，通常是因为开了代理。把代理关闭，重新启动start-webui.bat

3. webui可以正常进入，但是聊天时，电脑终端（CMD）提示 RuntimeError: CUDA out of memory。
修改start-webui.bat文件，以下这行，多加一个参数(--pre_layer 20)，但是这样回答速度会变慢：
call python server.py --auto-devices --cai-chat --wbits 4 --groupsize 128 --pre_layer 20


GPT4ALL V.2重大升级 | CPU运行，商业许可证、一键安装、新UI、基于GPT-J新模型


开源AUTO-GPT：自主管理功能的GPT-4！| WINDOWS电脑安装和功能展示！


90%的ChatGPT功能？｜CPU运行VICUNA开源人工智能模型 | WINDOWS电脑安装


在本地电脑运行的ChatGPT | 克隆大型GPT训练模型- 适用于 Mac/Windows/Linux | 基于LLAMA & GPT-3.5-TURBO开源项目