引言 图神经网络（Graph Neural Networks，GNNs）是一种专为图数据设计的深度学习模型。它们能够直接在图结构上操作，捕捉节点间的复杂关系和图的全局结构特征。图神经网络在多种任务中表现出色...

引言 传统循环神经网络在处理长序列时面临梯度消失或爆炸问题。梯度消失是指在训练过程中，误差反向传播时，梯度随着时间步数的增加而指数级衰减。梯度爆炸则正好相反，这会导致模型难以学习到...

“Improved Techniques for Training GANs”是一篇由Ian J. Goodfellow 和他的同事在 2016 年发表的论文，这篇论文对生成对抗网络（GANs）的训练过程做出了重要的改进和提议。这些改进主要集中...

反向传播算法 梯度下降和反向传播是神经网络训练过程中两个非常重要的概念，它们密切相关。梯度下降是一种常用的优化算法，它的目标是找到一个函数的最小值或最大值。在神经网络中，梯度下降算...

0.引言 虽然Transformer最初是为自然语言处理任务而设计的，但最近已经在各种计算机视觉领域掀起了风暴。然而，图像是有空间信息的二维数据，这给计算机视觉中应用Transformer带来了三个挑战： ...

引言 图神经网络（Graph Neural Networks，GNNs）是一种专门用于处理图形数据的神经网络架构。图形数据是一种非欧几里得数据，其中主要包括节点（vertices）和边（edges），节点代表实体，边表...

问题描述 梯度弥散：在深层神经网络中，梯度弥散是指在反向传播过程中梯度逐渐变小，以至于在网络的较浅层梯度接近于零。这导致网络的这些层的权重几乎不更新，使得模型难以学习到输入数据的复...

引言 生成对抗网络（GAN）是深度学习领域的一个革命性概念，为数据生成提供了一种全新的方式。其名称中的“对抗”体现了核心思想：通过两个神经网络之间的相互竞争来生成数据。这两个网络分别是...

0.引言 在2014年的ImageNet挑战赛（ILSVRC14）上，GoogLeNet和VGGNet成为了当年的双雄。GoogLeNet获得了图片分类大赛的第一名，VGGNet紧随其后。这两种模型的共同特点是网络深度更深。VGGNet是...

算法简介 Transformer架构于2017年6月推出。最初的研究重点是自然语言处理领域的翻译任务。随后，几个具有影响力的模型被引入，包括： （1）2018年6月：GPT，第一个预训练的Transformer模型，用...