一、消息传递

由于图具有“变换不变性”(即图的空间结构改变不会影响图的性状)，故不能直接将其输入卷积神经网络。一般采用消息传递(Message pass)的方式来处理。

消息传递机制通过局部邻域构建计算图实现，即某个节点的属性由其邻居节点来决定。汇聚这些邻居节点信息的工作由神经网络完成，不用人为干预。其形式如下例：

每个节点都可构建属于自己的计算图，计算图可以表征一个其结构、功能和角色。在计算过程中，每个计算图即为一个单独样本。

需要注意的是，图神经网络的层数并不是神经网络的层数，而是计算图的层数。图神经网络的层数=计算图的层数=图中目标节点的邻居阶数。每一层的节点共享一套计算权重。

图神经网络的层数 $k$ 可以视为卷积神经网络中的感受野。若 $k$ 过大可能导致过平滑（所有节点输出同一张图）

二、图卷积神经网络

1.计算单元

图卷积神经网络基于消息传递方式，一般的计算方法是将邻居节点的属性特征逐元素求平均(与顺序无关，也可以是求最大值/求和)，再将这个向量输入到神经元中。

2.数学表示

k+1层 $v$ 的嵌入是第k层 $v$ 节点的邻域 $u$ 计算(邻域 $u$ 中的节点求和再除以节点 $v$ 的连接数)，其公式可以写作：

$h^{(k+1)}_v=\sigma(\omega _k\sum \frac{h^k _u}{N(v)})$ 式中 $\sigma$ 为激活函数， $\omega_k$ 为权重

其中，节点 $v$ 的第0阶属性特征就是其本身： $h_v^{(0)}=x_v$

神经网络输出的嵌入向量为 $z_v = h_v^K$ ，K为网络的层数

3.矩阵表示

①将k层所有节点的嵌入都记为 $H^{(k)}$ ， $H^{(k)}=[h_1^{(k)}...h_{|v|}^{(k)}]^T$ ，即下图中矩阵中的一行

②将此矩阵左乘一个邻接矩阵 $A_v$ ： $\sum_{u \in N_v}h_u^{(k)}=A_vH^{(k)}$ 可挑选出节点 $v$ 的邻域节点（对应上式中的求和过程）

③找到一个矩阵 $D_v=Deg(v)=|N(v)|$ ，该矩阵为一个由节点连接数构成的对角矩阵，表现为：

其逆矩阵即为连接数的倒数： $D_v^{-1}=\frac{1}{|N(v)|}$

经过上述步骤，式 $\sum \frac{h^k _u}{N(v)}$ 即可表示为 $D^{-1}AH^{(k)}$

但是这样计算的话，由于 $D^{-1}$ 造成节点 $v$ 仅会考虑自己的连接数而忽视对方的连接数（不考虑连接的质量，对全部渠道来得信息强行求平均），可以将式子改进 $D^{-1}A$ --> $D^{-1}AD^{-1}$ ，这样得到的结果是一个对称矩阵，既考虑了自身的连接数也考虑了对方的连接数。

可改进后的向量幅值会减小，其特征值值域为(-1,1)。对于这种现象，可以继续对式子进行改进D^{-1}AD^{-1} --> $D^{-\frac{1}{2}}AD^{-\frac{1}{2}}$ ，这样处理后最大特征值等于1。

最后将此矩阵记为： $\tilde{A}=D^{-\frac{1}{2}}AD^{-\frac{1}{2}}$ ，在此矩阵中，若两个节点 $i$ , $j$ 存在连接，则其在矩阵中为 $\tilde{A}=\frac{1}{\sqrt{d_i}\sqrt{d_j}}$ ，可以表示其连接权重（其中 $d_i$ 和 $d_j$ 是节点 $i$ 和节点 $j$ 的连接数）