文章目录
- 一、计划
- 二、模块划分
- 1. nlp领域
- （1）. ChatGLM-6B
- （2）. LLaMA
- 文本生成
- 2. 知识图谱
- （1.）信息抽取
- （2.）实体识别关系抽取数据集
- （3.）一些较为完成的图谱项目
- （4.）阿里藏经阁
- （5.）构建知识图谱大模型 东北大学
- 二、模型下载的常见方法
- 1、Hugging http://face.cn上手动下载模型及其文件，
- 2、阿里的modelscope上下载，
- 3、huggingface的镜像网站aliendao网站下载，
- 4、huggingface的镜像网站
一、计划
现在大模型比较多，平时需要调试对比，就把这些大模型简单一个收集。
不断收集，不断学习
二、模块划分
1. nlp领域
（1）. ChatGLM-6B
- ChatGLM-6B
- ChatGLM2-6B
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：
GLM 多卡部署
（2）. LLaMA
mata官方地址
Chinese-LLaMA-Alpaca
本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步促进大模型在中文NLP社区的开放研究。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。
LLMA 安装部署
文本生成
2. 知识图谱
（1.）信息抽取
- 通用信息抽取 UIE(Universal Information Extraction)
UIE(Universal Information Extraction)：Yaojie Lu等人在ACL-2022中提出了通用信息抽取统一框架UIE。该框架实现了实体抽取、关系抽取、事件抽取、情感分析等任务的统一建模，并使得不同任务间具备良好的迁移和泛化能力。为了方便大家使用UIE的强大能力，PaddleNLP借鉴该论文的方法，基于ERNIE 3.0知识增强预训练模型，训练并开源了首个中文通用信息抽取模型UIE。该模型可以支持不限定行业领域和抽取目标的关键信息抽取，实现零样本快速冷启动，并具备优秀的小样本微调能力，快速适配特定的抽取目标。 - 开放域文本理解大模型
SeqGPT是一个不限领域的文本理解大模型。无需训练，即可完成实体识别、文本分类、阅读理解等多种任务。该模型基于Bloomz在数以百计的任务数据上进行指令微调获得。模型可以在低至16G显存的显卡上免费使用。
github地址
（2.）实体识别关系抽取数据集
多领域数据集
（3.）一些较为完成的图谱项目
项目地址
（4.）阿里藏经阁
藏经阁
在商业知识图谱数据开放基础之上，我们还开放了部分知识图谱技术平台能力，开源了若干知识图谱构建、融合、推理和应用工具，以促进知识图谱技术社区的发展。
-
DeepKE
DeepKE 是一个支持低资源、长篇章的知识图谱抽取工具，用户可以定制输入的数据集和模型实现命名实体识别、关系抽取、属性抽取等知识图谱构建功能。 -
NeuralKG
是一个通用的知识图谱神经网络表示学习工具，其包含常用的知识图谱嵌入模型、基于图神经网络的图谱推理模型，以及多个规则增强推理模型 -
OpenUE
OpenUE是一个轻量级知识图谱抽取工具，其实现了在一个统一通用的框架下实现实体关系、事件识别、以及槽位和意图抽取等多种知识图谱构建任务。 -
PromptKG
PromptKGC（Incoming）是一个基于Pretrain-Prompt-Fitune预训练范式的知识图谱抽取和补全工具，支持文本生成等多种应用和任务。 -
FastKGE
是一个轻量级知识图谱表示学习框架，其通过知识图谱蒸馏等方法，实现快速、高效的实体向量学习，可支持知识图谱模型的快速部署，以及在移动、边缘设备应用部署。
（5.）构建知识图谱大模型 东北大学
构建知识图谱大模型
TechGPT是“东北大学知识图谱研究组”发布的垂直领域大语言模型。目前在HuggingFace🤗: TechGPT-7Bneukg/TechGPT-7B开源了全量微调的7B版本。
TechGPT主要强化了如下三类任务:
以“知识图谱构建”为核心的关系三元组抽取等各类信息抽取任务
以“阅读理解”为核心的各类智能问答任务。
以“文本理解”为核心的关键词生成等各类序列生成任务。
摘要缩写，标题扩写
二、模型下载的常见方法
因为大模型动辄十几GB的大小，因为对于开发人员来说，环境搭好了，模型还要好几个小时。
模型下载的四种方式：
1、Hugging http://face.cn上手动下载模型及其文件，
因为国内对该网站不开放，需挂vpn下载，因为外网下载，所以速度依赖于你的外网网速
下载地址
2、阿里的modelscope上下载，
无需vpn，如果你的网速还行，建议这种方式，首先需要安装modelscope：pip install modelscope
# 从modelscope上下载模型
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('baichuan-inc/baichuan-7B', cache_dir='./model', revision='master')
如果你网速很好，下载就很快，如果是kb/s，那么大文件下载会失败。
3、huggingface的镜像网站aliendao网站下载，
无需vpn，非开发者需手动下载互链高科 （非开发者或者怕麻烦可以直接去网站手动下载）
开发者在aliendao的下载器上下载 下载地址
# 开发者可以直接看这里，这里的操作是在你已经有了一个python3.7以上的环境下，可以直接下述操作
# 如果你没有的话，移步 https://github.com/git-cloner/aliendao
git clone https://github.com/git-cloner/aliendao
cd aliendao
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host=pypi.mirrors.ustc.edu.cn
# 带上mirror参数，优先从aliendao.cn镜像下载
python model_download.py --mirror --repo_id baichuan-inc/Baichuan2-13B-Chat-4bits
让公司的运维测了，aliendao的带宽很慢，即便你的网速很快，速度也非常一般，而且这个网站模型不全。
4、huggingface的镜像网站
镜像网址
网速很快，公司运维有测到4M/s，非常推荐用这个网站直接下载
备注：huggingface的镜像网站下载llama2系列模型如何加认证的信息
加 huggingface access token 就可以下载，wget --header="Authorization: Bearer <hf_token>" url ，如果是git clone，则提示输密码时输入access token。
文章出处登录后可见！
