排序
Swin Transformer:窗口化的Transformer
0.引言 Swin Transformer是2021年微软研究院发表在ICCV(International Conference on Computer Vision)上的一篇文章,并且已经获得ICCV 2021最佳论文(Best Paper)的荣誉称号。Swin Transfor...
VAN:基于卷积实现的注意力
0.引言 虽然Transformer最初是为自然语言处理任务而设计的,但最近已经在各种计算机视觉领域掀起了风暴。然而,图像是有空间信息的二维数据,这给计算机视觉中应用Transformer带来了三个挑战: ...
图神经网络:图的向量化
引言 图神经网络(Graph Neural Networks,GNNs)是一种专门用于处理图形数据的神经网络架构。图形数据是一种非欧几里得数据,其中主要包括节点(vertices)和边(edges),节点代表实体,边表...
基于策略的深度强化学习
1 算法介绍:基于策略的强化学习 想象一下,你正在教一个机器人学习如何走路。在基于策略的强化学习方法中,你直接告诉这个机器人在每一步该如何行动。这种指导是通过一个概率模型来实现的,即...
图神经网络基础:图论
引言 图在我们身边随处可见;现实世界中的物体通常是以它们与其它事物的联系来定义的。一组物体以及它们之间的联系,都可以自然地表达为一个图。十多年来,研究人员已经开发了在图数据上操作的...
AS-MLP:注意力驱动下的多层感知机升级
0.引言 AS-MLP模型出自上海科技大学和腾讯优图实验室共同合作发表的文章,题为AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION。纯MLP网络架构专注于全局的信息交流,却忽略了局部信息的...
DenseNet:特征复用真香
0.引言 作为CVPR2017年的最佳论文,DenseNet模型脱离了通过加深网络层数(如VGGNet、ResNet)和加宽网络结构(如GoogLeNet)来提升网络性能的定式思维。转而从特征的角度考虑,通过特征重用和旁...
激活函数(Activate Fuction)
激活函数的定义与作用 激活函数是深度学习、人工神经网络中一个十分重要的学习内容,对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有非常重要的作用。在深度学习模型中,一般...
Improved GANs
“Improved Techniques for Training GANs”是一篇由Ian J. Goodfellow 和他的同事在 2016 年发表的论文,这篇论文对生成对抗网络(GANs)的训练过程做出了重要的改进和提议。这些改进主要集中...
Transformer算法详解
算法简介 Transformer架构于2017年6月推出。最初的研究重点是自然语言处理领域的翻译任务。随后,几个具有影响力的模型被引入,包括: (1)2018年6月:GPT,第一个预训练的Transformer模型,用...