排序
扩散模型(Diffusion Model)
扩散模型的基本原理 Denoising Diffusion Probabilistic Models (DDPM) 是一种利用扩散过程来生成样本的深度学习模型。其主要的灵感来源于扩散过程,通过逐渐增加噪音来模糊一个初始的图像,并...
ZFNet:卷积原理的深度解析
0.引言 ZFNet模型是由Matthew D. Zeiler和Rob Fergus在AlexNet的基础上提出的大型卷积网络,获得了2013年ILSVRC图像分类竞赛的冠军。其错误率为11.19%,较去年的AlexNet下降了5%。ZFNet解...
过拟合与欠拟合
过拟合与欠拟合 过拟合和欠拟合现象的定义 过拟合和欠拟合模型是深度学习模型在训练过程中比较容易出现的不好的现象。 当模型的表现能力弱于事件的真实表现时,会出现欠拟合现象。某个非线性模...
AlexNet:深度学习崛起的标志
1.AlexNet理论 AlexNet模型与LeNet模型有很多相似之处,它可以被看作是LeNet的改进版本,都由卷积层和全连接层构成。然而,AlexNet之所以能够在ImageNet比赛中大获成功,还要归功于其独特...
ConvMixer: 创新之路,卷积与多层感知机的相互借鉴
0.引言 近年来,卷积神经网络一直是计算机视觉任务中的主要架构。然而,最近出现了基于Transformer模型的架构,例如ViT、Swin Transformer等,在许多任务中表现出引人注目的性能。相比于传统的...
EfficientNet:轻量化网络
1.EfficientNetV1 EfficientNet源自Google Brain的论文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks。从标题中可以看出,这篇论文最主要的创新点是模型缩放。论...
Graph Attention Networks(GAT)
本章来学习一下图注意力网络GAT,首先对标GCN,来谈谈它们的优缺点。 GCN是处理transductive任务的一把利器,transductive任务是指:训练阶段与测试阶段都基于同样的图结构,如下图所示。 ...
ViT:视觉Transformer
0.引言 最初提出Transformer算法是为了解决自然语言处理领域的问题,Transformer在该领域获得了巨大的成功,几乎超越了循环神经网络模型(RNN),并成为自然语言处理领域的新一代基线模型。论文...
SENet:通道维度的注意力机制
0.引言 SENet于2017.9提出,其通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力。即通道维度上的注意力机制。SE模块仅需微小的计算成本,却产生了显著的性能改进。SENet Block...
图神经网络(GNN)
引言 图神经网络(Graph Neural Networks,GNNs)是一种专为图数据设计的深度学习模型。它们能够直接在图结构上操作,捕捉节点间的复杂关系和图的全局结构特征。图神经网络在多种任务中表现出色...