排序
VAN:基于卷积实现的注意力
0.引言 虽然Transformer最初是为自然语言处理任务而设计的,但最近已经在各种计算机视觉领域掀起了风暴。然而,图像是有空间信息的二维数据,这给计算机视觉中应用Transformer带来了三个挑战: ...
图神经网络(GNN)
引言 图神经网络(Graph Neural Networks,GNNs)是一种专为图数据设计的深度学习模型。它们能够直接在图结构上操作,捕捉节点间的复杂关系和图的全局结构特征。图神经网络在多种任务中表现出色...
Transformer算法详解
算法简介 Transformer架构于2017年6月推出。最初的研究重点是自然语言处理领域的翻译任务。随后,几个具有影响力的模型被引入,包括: (1)2018年6月:GPT,第一个预训练的Transformer模型,用...
SENet:通道维度的注意力机制
0.引言 SENet于2017.9提出,其通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力。即通道维度上的注意力机制。SE模块仅需微小的计算成本,却产生了显著的性能改进。SENet Block...
变分自编码器(VAE)算法详解
VAE模型简明指导 VAE最想解决的问题是如何构造编码器和解码器,使得图片能够编码成易于表示的形态,并且这一形态能够尽可能无损地解码回原真实图像。 这似乎听起来与PCA(主成分分析)有些相似...
基于图神经网络进行分子活性预测
该项目通过利用图神经网络来解析和预测化学分子结构对HIV的活性,展示了深度学习在药物发现领域的应用潜力。项目的核心是如何从分子结构中有效提取特征,并利用这些特征进行准确的活性预测。通...
循环神经网络(RNN)算法详解
引言 在第三章中,我们探讨了全连接神经网络(FCNN)和卷积神经网络(CNN)的结构,以及它们的训练方法和使用场景。值得注意的是,这两种网络结构都是处理独立的输入数据,即它们无法记忆或理解...
RepVGG:新型卷积神经网络架构
1、设计动机 设计RepVGG的初衷是为了解决许多流行的深度学习模型在追求更高性能的过程中不断增加结构复杂性的问题。例如,为了提高性能,许多模型采用了如残差连接、瓶颈设计、组卷积等复杂设计...