构建知识图谱最为核心的一步就是知识抽取,但是知识抽取只能初步构建出图谱,要想得到内容比较准确的图数据库,还需要非常重要的一步,就是知识图谱的补全。
知识图谱补全主要有以下几种方法:
一、基于知识表示方法
主要有Trans系列(包括TransR、TransH、TransE、TransD)和基于神经网络的方法
原理:已知三元组中任意两个元素,预测另一个缺失元素
方法:通过将可组成的三元组映射到不同向量空间中进行表示,采用不同的方法计算分数,得到分数最高的三元组,经过知识融合后补全到现有知识图谱中
二、基于路径查找的方法
1. 给定“实体对”的集合,利用PRA(Path Ranking Algorithm,路径排名算法)查找一定数量的路径
2. 使用RNN沿着路径进行向量化建模
3. 通过比较路径向量与待预测关系向量间的关联度来进行关系补全
(所以该种方法主要用于确定了实体对,不确定关系,对关系的一个补全)
三、基于强化学习的方法
在连续空间中进行路径搜索,通过引入多种奖励函数,使得路径查找更加灵活、可控
四、基于推理规则的方法
五、基于元学习的方法
1、基于记忆(Memory)的方法。
基本思路:因为要通过以往的经验来学习,那就可以通过在神经网络中添加Memory来实验。
2、基于预测梯度的方法。
基本思路:Meta Learning的目的是实现快速学习,而实现快速学习的关键点是神经网络的梯度下降要准和快,那么就可以让神经网络利用以往的任务学习如何预测梯度,这样面对新的任务,只要梯度预测的准,那么学习就会快。
3、利用注意力机制(Attention)
基本思路:训练一个Attention模型,在面对新任务时,能够直接的关注最重要部分。
4、借鉴LSTM的方法
基本思路:LSTM内部的更新非常类似于梯度下降的更新,那么能否利用LSTM的结构训练处一个神经网络的更新机制,输入当前网络参数,直接输出新的更新参数
5、面向RL的Meta Learning方法
基本思路:既然Meta Learning可以用在监督学习,那么增强学习上又可以怎么做呢?能否通过增加一些外部信息的输入比如reward,和之前的action来实验。
6、通过训练一个base model的方法,能同时应用到监督学习和增强学习上
基本思路:之前的方法只能局限在监督学习或增强学习上,能否做出一个更通用的模型。
7、利用WaveNet的方法
基本思路:WaveNet的网络每次都利用了之前的数据,那么能否照搬WaveNet的方式来实现Meta Learning呢?就是充分利用以往的数据。
8、预测Loss的方法
基本思路:要让学习的速度更快,除了更好的梯度,如果有更好的Loss,那么学习的速度也会更快,因此,可以构建一个模型利用以往的任务来学习如何预测Loss
文章出处登录后可见!