0.引言 SENet于2017.9提出，其通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力。即通道维度上的注意力机制。SE模块仅需微小的计算成本，却产生了显著的性能改进。SENet Block...

引言 2016年的论文《f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization》引入了一种新的生成对抗网络（GAN）框架，名为f-GAN。这篇论文通过将传统的GAN训...

0.引言 最初提出Transformer算法是为了解决自然语言处理领域的问题，Transformer在该领域获得了巨大的成功，几乎超越了循环神经网络模型（RNN），并成为自然语言处理领域的新一代基线模型。论文...

Transformer模型中最关键部分就是自注意力（Self-Attention）机制，正如 Transformer 的论文的标题是“Attention Is All You Need”！以文本问题为例来讲解这个机制。在处理文本问题时，自注意...

2023年，我们见证了机器学习的一个耀眼应用——OpenAI的Chat GPT。这个模型不仅仅展现了写作连贯、充满激情的文章的能力，更超出了我们对当前语言模型能力的预期。Chat GPT虽然并非一个特别新颖...

1. ShuffleNet V1 ShuffleNet V1是由旷视科技在2017年底为移动设备打造的轻量级卷积神经网络。其创新之处在于采用了组卷积（Group Convolution）和通道打散（Channel Shuffle）的方法，保证网络...

引言 卷积神经网络（CNN）的核心在于其多样化的卷积技术，每种技术针对不同的应用和性能需求有着独特的优势。逐通道卷积和逐点卷积关注单独通道的特征提取和通道间信息的融合。深度可分离卷积结...

激活函数的定义与作用 激活函数是深度学习、人工神经网络中一个十分重要的学习内容，对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有非常重要的作用。在深度学习模型中，一般...

0.引言 经过前几个MLP模型的介绍，相信很多读者都会思考一个问题：在计算机视觉任务中，哪种算法更适合呢？事实上，MetaFormer模型给出了答案：算法并不是最重要的，框架结构才是关键。MetaForm...

算法原理 Attention-Based RNN 是一种基于注意力机制的 RNN 变体模型，它通过引入注意力机制来对序列中的不同部分进行加权，从而能够更好地捕捉序列数据中的重要信息。Attention-Based RNN...