引言 图在我们身边随处可见；现实世界中的物体通常是以它们与其它事物的联系来定义的。一组物体以及它们之间的联系，都可以自然地表达为一个图。十多年来，研究人员已经开发了在图数据上操作的...

反向传播算法 梯度下降和反向传播是神经网络训练过程中两个非常重要的概念，它们密切相关。梯度下降是一种常用的优化算法，它的目标是找到一个函数的最小值或最大值。在神经网络中，梯度下降算...

算法简介 Transformer架构于2017年6月推出。最初的研究重点是自然语言处理领域的翻译任务。随后，几个具有影响力的模型被引入，包括： （1）2018年6月：GPT，第一个预训练的Transformer模型，用...

0.引言 AS-MLP模型出自上海科技大学和腾讯优图实验室共同合作发表的文章，题为AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION。纯MLP网络架构专注于全局的信息交流，却忽略了局部信息的...

0.引言 Swin Transformer是2021年微软研究院发表在ICCV（International Conference on Computer Vision）上的一篇文章，并且已经获得ICCV 2021最佳论文（Best Paper）的荣誉称号。Swin Transfor...

0.引言 虽然Transformer最初是为自然语言处理任务而设计的，但最近已经在各种计算机视觉领域掀起了风暴。然而，图像是有空间信息的二维数据，这给计算机视觉中应用Transformer带来了三个挑战： ...

0.引言 MLP-Mixer模型是谷歌AI团队于2021年初发表的文章，题为MLP-Mixer: An all-MLP Architecture for Vision。在计算机视觉领域的历史上，卷积神经网络一直是首选的模型。然而最近，注意力机...

编码器-解码器模型简介 Encoder-Decoder算法是一种深度学习模型结构，广泛应用于自然语言处理（NLP）、图像处理、语音识别等领域。它主要由两部分组成：编码器（Encoder）和解码器（Decoder）。...

引言 在科技界，GPT3的热潮正如火如荼地展开。这类庞大的语言模型（比如GPT3）开始以它们惊人的能力让我们惊叹。虽然现在对于大多数企业来说，将它们直接应用于面对客户的业务中还不够可靠，但...

引言 图神经网络（Graph Neural Networks，GNNs）是一种专门用于处理图形数据的神经网络架构。图形数据是一种非欧几里得数据，其中主要包括节点（vertices）和边（edges），节点代表实体，边表...