引言 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一 。 对卷积神...

过拟合与欠拟合 过拟合和欠拟合现象的定义 过拟合和欠拟合模型是深度学习模型在训练过程中比较容易出现的不好的现象。 当模型的表现能力弱于事件的真实表现时，会出现欠拟合现象。某个非线性模...

0.引言 MLP-Mixer模型是谷歌AI团队于2021年初发表的文章，题为MLP-Mixer: An all-MLP Architecture for Vision。在计算机视觉领域的历史上，卷积神经网络一直是首选的模型。然而最近，注意力机...

问题描述 梯度弥散：在深层神经网络中，梯度弥散是指在反向传播过程中梯度逐渐变小，以至于在网络的较浅层梯度接近于零。这导致网络的这些层的权重几乎不更新，使得模型难以学习到输入数据的复...

引言 在机器学习和数据分析领域，当数据的维度特别高时，处理和分析数据就会变得尤为困难。这是因为随着维度的增加，数据的稀疏性也会增加，这种现象被称为“维度的诅咒”。为了克服这个挑战，...

0.引言 Swin Transformer是2021年微软研究院发表在ICCV（International Conference on Computer Vision）上的一篇文章，并且已经获得ICCV 2021最佳论文（Best Paper）的荣誉称号。Swin Transfor...

0.引言 SENet于2017.9提出，其通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力。即通道维度上的注意力机制。SE模块仅需微小的计算成本，却产生了显著的性能改进。SENet Block...

引言 2016年的论文《f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization》引入了一种新的生成对抗网络（GAN）框架，名为f-GAN。这篇论文通过将传统的GAN训...

0.引言 最初提出Transformer算法是为了解决自然语言处理领域的问题，Transformer在该领域获得了巨大的成功，几乎超越了循环神经网络模型（RNN），并成为自然语言处理领域的新一代基线模型。论文...

Transformer模型中最关键部分就是自注意力（Self-Attention）机制，正如 Transformer 的论文的标题是“Attention Is All You Need”！以文本问题为例来讲解这个机制。在处理文本问题时，自注意...