PyTorch图神经网络（三）
1.图注意力网络（GAT）
之前提到的图卷积网络其实已经包含了图注意力网络的思想，他用节点的度来衡量节点的重要性，这样就会使得邻居较少的节点比其他节点更加重要。图注意力网络解决了这种方法的局限性，他把归一化矩阵拓展成注意力矩阵，得到的公式为（写成单个嵌入的形式，便于后文解释）：
\[h_i=∑α_{ij}Wx_j
\]
其中，\(α_{ij}\)表示的是节点i和节点j之间的注意力分数，具体数值是根据输入的相互比较隐式计算得到的（自注意力）。
这里的\(α_{ij}\)计算方法为：
1.将节点i和节点j的特征拼接
2.将拼接得到的特征乘上一个共享权重矩阵W（可学习）
3.对第二部的结果应用Leaky ReLU
3.将得到的所有结果归一化作为注意力分数
这一步就和我们所熟知的transformer一样了，通过共享的权重矩阵来计算注意力分数，只不过这里只有一个矩阵。
文中的多头注意力机制和tramsformer中的multi-head机制是类似的，也是拆分成多个相互独立的注意力机制，最终可以通过合适的方法将结果融合起来。文中说的是求平均，应该也可以像multi-head一样设立一个权重矩阵来融合所有结果。
注意：这里可以发现原书在前面写的式子中，都没有提到图的邻接矩阵，实际上在最终实现的时候，还是会用到邻接矩阵的，文中在pytorch实现的时候，也把公式修改为了：
\[H=A^TW_αXW^T
\]