安装
https://github.com/Mozilla-Ocho/llamafile
下载
大模型文件,选择列表中任意一个
wget https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4.llamafile?download=true
https://github.com/Mozilla-Ocho/llamafile?tab=readme-ov-file#other-example-llamafiles
这里选择LLaVA 多模态的
使用
chmod +x llava-v1.5-7b-q4.llamafile
./llava-v1.5-7b-q4.llamafile
# --host xx.xx.xx.xx --port 8080
默认打开http://127.0.0.1:8080 即可开始对话
版权声明:本文为博主作者:昵称不能为null原创文章,版权归属原作者,如果侵权,请联系我们删除!
原文链接:https://blog.csdn.net/HDF734839030/article/details/137008392