图机器学习——5.3 图神经网络:GNN与CNN及Transformer的关系

以上就是GNN的基本框架,下面我们来看看GNN与CNN框架及Transformer中的异同。

1)GNN vs. CNN

CNN层与层之间的传递公式为:

图机器学习——5.3 图神经网络:GNN与CNN及Transformer的关系

其中,图机器学习——5.3 图神经网络:GNN与CNN及Transformer的关系 表示像素 图机器学习——5.3 图神经网络:GNN与CNN及Transformer的关系 的8个相邻像素。我们可以将上式拆成两部分,邻居像素的传递+自己本身的传递:

图机器学习——5.3 图神经网络:GNN与CNN及Transformer的关系

注意,CNN中的每个邻居像素对应的权重是不一致的,因此有个上角标图机器学习——5.3 图神经网络:GNN与CNN及Transformer的关系,也就是每个相邻像素位置对应一个权重,因此CNN不具有置换不变性。而相比之下GNN的传递公式为:

图机器学习——5.3 图神经网络:GNN与CNN及Transformer的关系

其每个对应的邻居权重都是相同的,为图机器学习——5.3 图神经网络:GNN与CNN及Transformer的关系,这是需要适应图节点中的度可能是任意的(每个节点的邻居数量都不尽相同)。对比的图像示意如下:

2)GNN vs. Transformer

接着我们来对比GNN与文本中用到非常多的Transformer进行对比。首先看看后者的基础结构:

其基本想法是自注意力机制,也就是通过矩阵计算,每个标记/词都与其他标记/词相关。因此Transformer本质上是一个两两相连的完全图。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2022年5月25日
下一篇 2022年5月25日

相关推荐