深度学习 第4页
排序
Graph Attention Networks（GAT）
本章来学习一下图注意力网络GAT，首先对标GCN，来谈谈它们的优缺点。 GCN是处理transductive任务的一把利器，transductive任务是指：训练阶段与测试阶段都基于同样的图结构，如下图所示。 ...
5个月前
EfficientNet:轻量化网络
1.EfficientNetV1 EfficientNet源自Google Brain的论文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks。从标题中可以看出，这篇论文最主要的创新点是模型缩放。论...
7个月前
AS-MLP:注意力驱动下的多层感知机升级
0.引言 AS-MLP模型出自上海科技大学和腾讯优图实验室共同合作发表的文章，题为AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION。纯MLP网络架构专注于全局的信息交流，却忽略了局部信息的...
6个月前
深度学习梯度弥散与爆炸
问题描述 梯度弥散：在深层神经网络中，梯度弥散是指在反向传播过程中梯度逐渐变小，以至于在网络的较浅层梯度接近于零。这导致网络的这些层的权重几乎不更新，使得模型难以学习到输入数据的复...
7个月前
扩散模型（Diffusion Model）
扩散模型的基本原理 Denoising Diffusion Probabilistic Models (DDPM) 是一种利用扩散过程来生成样本的深度学习模型。其主要的灵感来源于扩散过程，通过逐渐增加噪音来模糊一个初始的图像，并...
5个月前
f-GAN
引言 2016年的论文《f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization》引入了一种新的生成对抗网络（GAN）框架，名为f-GAN。这篇论文通过将传统的GAN训...
5个月前
卷积神经网络（CNN）算法详解
引言 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一 。 对卷积神...
7个月前
ConvMixer: 创新之路，卷积与多层感知机的相互借鉴
0.引言 近年来，卷积神经网络一直是计算机视觉任务中的主要架构。然而，最近出现了基于Transformer模型的架构，例如ViT、Swin Transformer等，在许多任务中表现出引人注目的性能。相比于传统的...
6个月前
长短期记忆网络（LSTM）和门控循环单元（GRU）算法详解
引言 传统循环神经网络在处理长序列时面临梯度消失或爆炸问题。梯度消失是指在训练过程中，误差反向传播时，梯度随着时间步数的增加而指数级衰减。梯度爆炸则正好相反，这会导致模型难以学习到...
6个月前
GoogLeNet：探索宽度的力量
0.引言 在2014年的ImageNet挑战赛（ILSVRC14）上，GoogLeNet和VGGNet成为了当年的双雄。GoogLeNet获得了图片分类大赛的第一名，VGGNet紧随其后。这两种模型的共同特点是网络深度更深。VGGNet是...
7个月前
