引言 图在我们身边随处可见；现实世界中的物体通常是以它们与其它事物的联系来定义的。一组物体以及它们之间的联系，都可以自然地表达为一个图。十多年来，研究人员已经开发了在图数据上操作的...

1、设计动机 设计RepVGG的初衷是为了解决许多流行的深度学习模型在追求更高性能的过程中不断增加结构复杂性的问题。例如，为了提高性能，许多模型采用了如残差连接、瓶颈设计、组卷积等复杂设计...

引言 在科技界，GPT3的热潮正如火如荼地展开。这类庞大的语言模型（比如GPT3）开始以它们惊人的能力让我们惊叹。虽然现在对于大多数企业来说，将它们直接应用于面对客户的业务中还不够可靠，但...

0.引言 作为CVPR2017年的最佳论文，DenseNet模型脱离了通过加深网络层数（如VGGNet、ResNet）和加宽网络结构（如GoogLeNet）来提升网络性能的定式思维。转而从特征的角度考虑，通过特征重用和旁...

引言 Seq2Seq模型可以被认为是一种Encoder-Decoder模型的变体，其特别适用于处理序列到序列的任务，编码器将输入序列映射为一个固定长度的向量表示，解码器则使用这个向量表示来生成输出序列。...

1 DQN介绍 要理解DQN，我们首先需要理解Q值。Q值是一个函数，Q(s, a)表示在状态s下执行动作a可以得到的预期奖励。直观上讲，Q值告诉智能体哪些动作在长期来看更有利。 Q学习的目标是找到最优的Q...

不管是GraphSAGE，还是GCN，它们的核心思想其实与朴素的GNN思想一致，都是每个节点根据图的连接结构，通过聚合邻居信息来更新自身节点的信息，再把更新后的节点向量送入神经网络层做进一步的学...

1. 正态分布初始化 正态分布初始化将权重初始化为来自正态（或高斯）分布的随机数。该分布通常以0为均值，其标准差（或方差）可以根据网络的特定需求进行调整。这种方法在保证权重不会开始时过...

本章来学习一下图注意力网络GAT，首先对标GCN，来谈谈它们的优缺点。 GCN是处理transductive任务的一把利器，transductive任务是指：训练阶段与测试阶段都基于同样的图结构，如下图所示。 ...

0.引言 深度残差网络（Deep Residual Network, ResNet）的提出是基于卷积算法处理图像问题领域的一件里程碑事件。ResNet在2015年发表当年取得了图像分类、检测等5项大赛第一，并再次刷新了CNN模...