现在大语言模型的部署，通常都需要大的GPU才能实现，如果是仅仅想研究一下，大语言模型的算法，我们是很想能够直接在我们的工作电脑上就能直接运行的，llama.cpp就是很好的实现。
LLaMa.cpp使用int4这种数值格式，其显著降低了内存需求，并且在大多数硬件上其性能严重受到内存限制。LLaMa.cpp使用原始C ++的项目来重写LLaMa（长格式语言模型）推理代码。这使得可以在各种硬件上本地运行LLaMa，包括Raspberry Pi。
在使用一些优化和量化技术来量化权重的情况下，LLaMa.cpp使得大型语言模型可以在本地的多种硬件上运行，而无需昂贵的GPU。内存带宽往往是推理的瓶颈，通过量化使用更少的精度可以减少存储模型所需的内存。
下载源码
LLaMa.cpp 的项目地址在：https://github.com/ggerganov/llama.cpp
只要用git命令就能下载下来：
git clone https://github.com/ggerganov/llama.cpp
准备编译工具
LLaMa.cpp 是cpp 跨平台的，在Windows平台下，需要准备mingw 和Cmake。
- mingw
进入 powershell 下，输入如下的命令安装 mingw ：
Set-ExecutionPolicy RemoteSigned -Scope CurrentUser
iex "& {$(irm get.scoop.sh)} -RunAsAdmin"
scoop bucket add extras
scoop bucket add main
scoop install mingw
- Cmake
Cmake 的下载地址：https://cmake.org/download/
下载二进制安装版本：
到这里，Windows上的编译工具已经齐全了。
编译LLaMa.cpp
编译LLaMa.cpp也非常的方便，进入刚下载的源码目录。
cd llama.cpp
编译：
cmake . -G "MinGW Makefiles"
cmake --build . --config Release
没碰到问题的话，在bin的目录下就会生成几个可执行的exe。
可执行的exe虽然多，但是用到的主要有两个，一个是quantize.exe，一个是main.exe。
有了程序以后，我们还差一个模型。
模型下载
在huggingface 放着很多的开源模型，为了简单和性能，使用的是LLaMA-7B模型，下载地址在：https://huggingface.co/nyanko7/LLaMA-7B/tree/main
这个模型接近14g，下载需要一点时间，慢慢的等待。
模型下载完成以后，在llama.cpp的目录下新建一个目录org-models
把下载的文件安排成这样的形式：
org-models/
– 7B/ #这是一个名为7B的文件夹
– consolidated.00.pth
– params.json
– tokenizer.model
模型就完成了，这个是llama 的模型，在普通电脑上是跑不起来的，llama.cpp 是量化。
量化模型
在目录下，运行：
bin\quantize.exe ./org-models/7B/ggml-model-f16.bin ./org-models/7B/ggml-model-q4_0.bin 2
python convert-pth-to-ggml.py org-models/7B/ 1
这时候，在org-models 的目录下生成了ggml-model-f16.bin，在这里就能输入命令：
bin\main.exe -m org-models/7B/ggml-model-f16.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 -t 16
让模型跑起来：
但是跑的时候，有点慢。
量化4-bit模型;
python convert-pth-to-ggml.py org-models/7B/ 1
继续跑：
bin\main.exe -m org-models/7B/ggml-model-q4_0.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 -t 16
这个时候就快多了。但是你是不是发现，他有时候会出错，而却还没有完全答完就结束了，对中文的支持，很一般，这是因为llama.cpp本身对中文就不怎么支持，github上有些人对llama.cpp进行了扩充和微调，使得他中文的理解能力大大的加强。
可以进一步的，把中文的模型，融合进来。
文章出处登录后可见！
