排序
MLP-Mixer: 并肩卷积与自注意,多层感知机的神奇魔法
0.引言 MLP-Mixer模型是谷歌AI团队于2021年初发表的文章,题为MLP-Mixer: An all-MLP Architecture for Vision。在计算机视觉领域的历史上,卷积神经网络一直是首选的模型。然而最近,注意力机...
VAN:基于卷积实现的注意力
0.引言 虽然Transformer最初是为自然语言处理任务而设计的,但最近已经在各种计算机视觉领域掀起了风暴。然而,图像是有空间信息的二维数据,这给计算机视觉中应用Transformer带来了三个挑战: ...
蝙蝠优化算法(bat optimization algorithm)
算法背景 蝙蝠优化算法(Bat Algorithm)是一种基于群体智能的优化算法,它的灵感来源于蝙蝠捕食时的回声定位行为。想象一下,夜幕降临,一群蝙蝠在黑暗中飞翔,它们发出超声波并依靠回声来定位...
麻雀优化算法(Sparrow Search Algorithm)
算法背景 麻雀算法(Sparrow Search Algorithm, SSA)是一种受自然界麻雀群体行为启发的优化算法。想象一下,一群麻雀在寻找食物的过程中,它们需要在广阔的区域内快速而有效地搜索到食物资源。...
ConvNeXt:卷积与设计策略的新篇章
0.引言 自从ViT模型被提出以后,在过去的几年里,Transformer在深度学习领域大杀四方。回顾近几年,在计算机视觉领域发表的文章绝大多数都是基于Transformer模型的,比如2021年ICCV的Best Paper...
MetaFormer: 万法归一,构建未来的Transformer模板
0.引言 经过前几个MLP模型的介绍,相信很多读者都会思考一个问题:在计算机视觉任务中,哪种算法更适合呢?事实上,MetaFormer模型给出了答案:算法并不是最重要的,框架结构才是关键。MetaForm...
蜂群优化算法(bee colony optimization algorithm)
算法引言 自然界的启发:BSO算法的灵感来自于蜜蜂在自然界中的觅食行为。在自然界中,蜜蜂需要找到花蜜来生存。当一只蜜蜂找到一片花丛时,它会返回蜂巢,通过特殊的“摆动舞”将花丛的位置信息...
ConvMixer: 创新之路,卷积与多层感知机的相互借鉴
0.引言 近年来,卷积神经网络一直是计算机视觉任务中的主要架构。然而,最近出现了基于Transformer模型的架构,例如ViT、Swin Transformer等,在许多任务中表现出引人注目的性能。相比于传统的...
Swin Transformer:窗口化的Transformer
0.引言 Swin Transformer是2021年微软研究院发表在ICCV(International Conference on Computer Vision)上的一篇文章,并且已经获得ICCV 2021最佳论文(Best Paper)的荣誉称号。Swin Transfor...
ViT:视觉Transformer
0.引言 最初提出Transformer算法是为了解决自然语言处理领域的问题,Transformer在该领域获得了巨大的成功,几乎超越了循环神经网络模型(RNN),并成为自然语言处理领域的新一代基线模型。论文...