排序
循环神经网络(RNN)算法详解
引言 在第三章中,我们探讨了全连接神经网络(FCNN)和卷积神经网络(CNN)的结构,以及它们的训练方法和使用场景。值得注意的是,这两种网络结构都是处理独立的输入数据,即它们无法记忆或理解...
编码器-解码器模型(Encoder-Decoder)
编码器-解码器模型简介 Encoder-Decoder算法是一种深度学习模型结构,广泛应用于自然语言处理(NLP)、图像处理、语音识别等领域。它主要由两部分组成:编码器(Encoder)和解码器(Decoder)。...
AS-MLP:注意力驱动下的多层感知机升级
0.引言 AS-MLP模型出自上海科技大学和腾讯优图实验室共同合作发表的文章,题为AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION。纯MLP网络架构专注于全局的信息交流,却忽略了局部信息的...
MLP-Mixer: 并肩卷积与自注意,多层感知机的神奇魔法
0.引言 MLP-Mixer模型是谷歌AI团队于2021年初发表的文章,题为MLP-Mixer: An all-MLP Architecture for Vision。在计算机视觉领域的历史上,卷积神经网络一直是首选的模型。然而最近,注意力机...
VAN:基于卷积实现的注意力
0.引言 虽然Transformer最初是为自然语言处理任务而设计的,但最近已经在各种计算机视觉领域掀起了风暴。然而,图像是有空间信息的二维数据,这给计算机视觉中应用Transformer带来了三个挑战: ...
ConvNeXt:卷积与设计策略的新篇章
0.引言 自从ViT模型被提出以后,在过去的几年里,Transformer在深度学习领域大杀四方。回顾近几年,在计算机视觉领域发表的文章绝大多数都是基于Transformer模型的,比如2021年ICCV的Best Paper...
MetaFormer: 万法归一,构建未来的Transformer模板
0.引言 经过前几个MLP模型的介绍,相信很多读者都会思考一个问题:在计算机视觉任务中,哪种算法更适合呢?事实上,MetaFormer模型给出了答案:算法并不是最重要的,框架结构才是关键。MetaForm...
ConvMixer: 创新之路,卷积与多层感知机的相互借鉴
0.引言 近年来,卷积神经网络一直是计算机视觉任务中的主要架构。然而,最近出现了基于Transformer模型的架构,例如ViT、Swin Transformer等,在许多任务中表现出引人注目的性能。相比于传统的...
Swin Transformer:窗口化的Transformer
0.引言 Swin Transformer是2021年微软研究院发表在ICCV(International Conference on Computer Vision)上的一篇文章,并且已经获得ICCV 2021最佳论文(Best Paper)的荣誉称号。Swin Transfor...
ViT:视觉Transformer
0.引言 最初提出Transformer算法是为了解决自然语言处理领域的问题,Transformer在该领域获得了巨大的成功,几乎超越了循环神经网络模型(RNN),并成为自然语言处理领域的新一代基线模型。论文...