NeurIPS 2024 | 经典GNNs是强有力的节点分类基线模型

论文题目：Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification

日期：2024年10月31日

1. 引言

节点分类是图机器学习中的核心任务，在社交网络分析、生物信息学和推荐系统等领域有重要应用。图神经网络（GNNs）通过消息传递机制聚合邻居信息，利用图结构和节点特征进行分类，已成为解决该任务的主流方法。然而，GNNs存在局限性，如过度平滑、对异质性敏感性不足以及难以捕获长距离依赖。

近年来，Graph Transformer（GTs）因其自注意力机制能够捕获全局节点交互，成为一种新的研究方向，尤其在小规模图级任务中表现出色。然而，最新研究表明，许多GT模型仍依赖消息传递，并未完全替代GNN的局部表示学习。

在本研究中，我们重新评估了经典GNNs（GCN、GAT、GraphSAGE）在节点分类任务中的表现。通过对18个真实数据集的测试，包括同质性、异质性和大规模图，并调整关键超参数（如Normalization、Dropout、Residual Connections和网络深度），我们发现：

1. 经典GNNs经过优化后，在大多数数据集上超越了最先进的GT模型。
2. Normalization在大规模图上至关重要。
3. Dropout始终表现积极作用。
4. Residual Connections显著提升了异质性图的性能。
5. 更深层网络更适合异质性图的节点分类。

这些结果表明，GNNs的潜力可能被低估，适当的超参数调整能显著提高其性能，挑战了GTs在节点分类中的优势宣称。

2.方法介绍

该论文重点介绍了经典GNN模型（GCN、GraphSAGE、GAT）在节点分类任务中的应用及其工作原理。通过消息传递机制，这些模型利用图结构和节点特征生成节点表示，其中GCN基于归一化的加权邻域聚合，GraphSAGE通过邻域均值和线性变换结合学习节点表示，GAT则使用自注意力机制分配不同邻居的权重。此外，论文讨论了关键超参数（如Normalization、Dropout和Residual Connections）的设置对模型性能的影响，强调通过优化这些超参数，经典GNN模型在同质性和异质性图上均表现出高度竞争力。

2.1 数据集介绍

同质性图：使用常见的引用网络（Cora、CiteSeer、PubMed）和购买网络（Computer、Photo）、作者网络（CS、Physics），以及Wiki-CS引用网络，按照60%/20%/20%的训练/验证/测试划分标准。

异质性图：包含Wikipedia页面网络（Squirrel、Chameleon）及Roman-Empire、Amazon-Ratings、Minesweeper和Questions等数据集，基于其标准划分和评估方法。

大规模图：采用OGB发布的ogbn-arxiv、ogbn-proteins、ogbn-products等大规模图（节点数量0.16M-2.4M），以及社交网络数据集pokec。

超参数设置与关键点

1. Normalization：使用Layer Normalization或Batch Normalization稳定训练、加速收敛。
2. Dropout：减少特征嵌入共适应效应，提升模型泛化能力。
3. Residual Connections：缓解梯度消失，支持更深层网络（拓展至10层）。
4. Network Depth：尽管GNNs通常较浅（2-5层），结合Residual Connections后可有效拓深。

实验结果表明，经典GNNs（GCN、GraphSAGE、GAT）在经过优化的超参数设置后，与先进图学习模型的性能高度接近甚至超越。

3. 实验结果

3.1 主要发现

从实验结果可以看出，经典的GNN模型（如GCN、GraphSAGE和GAT）在同质性图上的节点分类任务中，经过轻微的超参数微调后表现出很强的竞争力。在多个数据集（如Cora、CiteSeer、PubMed等）上，这些经典模型在准确率上甚至优于一些最先进的图学习模型（如Polynormer、Exphormer）。

主要结论包括：

1. 经典模型的优势：GCN、GraphSAGE和GAT在多个数据集上的表现接近甚至超越了复杂的GT模型，说明经典模型在调整超参数后依然具有强大的适用性。
2. 竞争力的体现：这些经典GNN模型在计算效率和性能上的平衡，使其在实际应用中具备高价值。

这表明，适当的优化和调参可以充分释放经典GNN的潜力，重新审视这些模型在实际任务中的作用是有意义的。

实验结果显示，经过参数调整后，经典GNN模型（如GCN、GraphSAGE和GAT）在异质性图上的表现显著提升，并在多个数据集（如Squirrel、Chameleon、Amazon-Ratings等）中达到了先进的性能，甚至超越了一些专为异质性图设计的专用模型和最先进的GT架构（如Polynormer、NodeFormer）。

主要观察包括：

1. 超越专用模型：经典GNN模型在异质性图上的表现不仅接近甚至超过了某些为此类任务设计的GNN和GT模型。
2. 理论意义：这进一步挑战了传统观点，即经典GNN主要适用于同质性图。研究结果表明，经典GNN通过适当的调整也可以很好地应对异质性图任务。

这些发现证明，经典GNN在异质性图节点分类中的潜力远未被充分挖掘，适当的优化可以大幅提升其竞争力，推动理论和实践的进一步发展。

实验结果表明，经过超参数调整后，经典GNN模型（如GCN、GraphSAGE和GAT）在大规模图上的表现显著提升。在某些情况下，这些模型的准确率甚至达到了两位小数的精度，并且在多个大规模数据集（如ogbn-proteins、ogbn-arxiv和pokec）上取得了最佳结果，超越了最先进的GT模型。

关键观察：

1. 经典GNN的高效性：经过优化，GCN和GraphSAGE在多个大规模图上的表现优异，例如在ogbn-products上，GraphSAGE获得了83.89%的准确率，超过了许多复杂模型。
2. 消息传递的有效性：这些结果表明，经典的消息传递机制在大规模图节点分类任务中仍然非常有效，尤其是在优化后能够与GT模型一较高下。

这进一步验证了，尽管GT模型在图学习中备受关注，但经典GNN经过适当调整后依然具有极高的适用性和竞争力，尤其是在处理大规模图时。

3.2 消融实验

消融实验结果解读

1. Normalization
   在大规模图中，Normalization（BN或LN）对节点分类至关重要，可以稳定特征分布并提高模型的准确性。例如，在ogbn-proteins上，禁用Normalization会导致GraphSAGE和GAT的准确率分别下降4.79%和4.69%。但在小规模图中，Normalization的影响较为有限。
2. Dropout
   Dropout被证明在节点分类中始终是必要的。无论是同质性图还是异质性图，移除Dropout都会显著降低模型性能。例如，在PubMed上，禁用Dropout会使GraphSAGE的准确率下降2.70%，在Roman-Empire上下降6.57%。
3. Residual Connections
   Residual Connections能显著提升模型在某些数据集上的表现，尤其是在异质性图中的效果更为突出。例如，在Roman-Empire上，移除Residual Connections会导致GCN的准确率下降16.43%。这表明Residual Connections对于捕获复杂图结构中的远距离依赖尤为重要。
4. 网络深度
   更深的网络在异质性图上的性能提升更加明显。对于同质性图，GCN和GraphSAGE的最佳层数通常在2到6层之间，而在异质性图中，增加网络层数会显著改善模型性能，表明深层网络在异质性图上更具优势。研究还探讨了超过10层网络的情况，以进一步挖掘其潜力。

4. 总结

我们的研究对经典GNNs模型在节点分类任务中的有效性进行了全面的重新评估。通过广泛的实证分析，我们验证了这些经典GNNs模型能够在各种图数据集上达到甚至超越最先进图学习模型的性能。此外，我们的全面消融研究提供了关于不同GNNs超参数如何影响性能的见解。我们希望我们的研究结果为GNNs的应用和评估带来新的见解。

论文链接：

https://arxiv.org/abs/2406.08993

代码链接：

https://github.com/LUOyk1999/tunedGNN