排序
图神经网络:图的向量化
引言 图神经网络(Graph Neural Networks,GNNs)是一种专门用于处理图形数据的神经网络架构。图形数据是一种非欧几里得数据,其中主要包括节点(vertices)和边(edges),节点代表实体,边表...
AS-MLP:注意力驱动下的多层感知机升级
0.引言 AS-MLP模型出自上海科技大学和腾讯优图实验室共同合作发表的文章,题为AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION。纯MLP网络架构专注于全局的信息交流,却忽略了局部信息的...
Transformer算法详解
算法简介 Transformer架构于2017年6月推出。最初的研究重点是自然语言处理领域的翻译任务。随后,几个具有影响力的模型被引入,包括: (1)2018年6月:GPT,第一个预训练的Transformer模型,用...
Improved GANs
“Improved Techniques for Training GANs”是一篇由Ian J. Goodfellow 和他的同事在 2016 年发表的论文,这篇论文对生成对抗网络(GANs)的训练过程做出了重要的改进和提议。这些改进主要集中...
编码器-解码器模型(Encoder-Decoder)
编码器-解码器模型简介 Encoder-Decoder算法是一种深度学习模型结构,广泛应用于自然语言处理(NLP)、图像处理、语音识别等领域。它主要由两部分组成:编码器(Encoder)和解码器(Decoder)。...
RepVGG:新型卷积神经网络架构
1、设计动机 设计RepVGG的初衷是为了解决许多流行的深度学习模型在追求更高性能的过程中不断增加结构复杂性的问题。例如,为了提高性能,许多模型采用了如残差连接、瓶颈设计、组卷积等复杂设计...
卷积神经网络(CNN)算法详解
引言 卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks, FNN),是深度学习的代表算法之一 。 对卷积神...
长短期记忆网络(LSTM)和门控循环单元(GRU)算法详解
引言 传统循环神经网络在处理长序列时面临梯度消失或爆炸问题。梯度消失是指在训练过程中,误差反向传播时,梯度随着时间步数的增加而指数级衰减。梯度爆炸则正好相反,这会导致模型难以学习到...
基于注意力机制的循环神经网络(Attention-Based RNN)
算法原理 Attention-Based RNN 是一种基于注意力机制的 RNN 变体模型,它通过引入注意力机制来对序列中的不同部分进行加权,从而能够更好地捕捉序列数据中的重要信息。Attention-Based RNN...
f-GAN
引言 2016年的论文《f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization》引入了一种新的生成对抗网络(GAN)框架,名为f-GAN。这篇论文通过将传统的GAN训...