0.引言 AS-MLP模型出自上海科技大学和腾讯优图实验室共同合作发表的文章，题为AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION。纯MLP网络架构专注于全局的信息交流，却忽略了局部信息的...

0.引言 MLP-Mixer模型是谷歌AI团队于2021年初发表的文章，题为MLP-Mixer: An all-MLP Architecture for Vision。在计算机视觉领域的历史上，卷积神经网络一直是首选的模型。然而最近，注意力机...

0.引言 虽然Transformer最初是为自然语言处理任务而设计的，但最近已经在各种计算机视觉领域掀起了风暴。然而，图像是有空间信息的二维数据，这给计算机视觉中应用Transformer带来了三个挑战： ...

0.引言 自从ViT模型被提出以后，在过去的几年里，Transformer在深度学习领域大杀四方。回顾近几年，在计算机视觉领域发表的文章绝大多数都是基于Transformer模型的，比如2021年ICCV的Best Paper...

0.引言 经过前几个MLP模型的介绍，相信很多读者都会思考一个问题：在计算机视觉任务中，哪种算法更适合呢？事实上，MetaFormer模型给出了答案：算法并不是最重要的，框架结构才是关键。MetaForm...

0.引言 近年来，卷积神经网络一直是计算机视觉任务中的主要架构。然而，最近出现了基于Transformer模型的架构，例如ViT、Swin Transformer等，在许多任务中表现出引人注目的性能。相比于传统的...

0.引言 Swin Transformer是2021年微软研究院发表在ICCV（International Conference on Computer Vision）上的一篇文章，并且已经获得ICCV 2021最佳论文（Best Paper）的荣誉称号。Swin Transfor...

0.引言 最初提出Transformer算法是为了解决自然语言处理领域的问题，Transformer在该领域获得了巨大的成功，几乎超越了循环神经网络模型（RNN），并成为自然语言处理领域的新一代基线模型。论文...

算法简介 Transformer架构于2017年6月推出。最初的研究重点是自然语言处理领域的翻译任务。随后，几个具有影响力的模型被引入，包括： （1）2018年6月：GPT，第一个预训练的Transformer模型，用...

1. 正态分布初始化 正态分布初始化将权重初始化为来自正态（或高斯）分布的随机数。该分布通常以0为均值，其标准差（或方差）可以根据网络的特定需求进行调整。这种方法在保证权重不会开始时过...