排序
激活函数(Activate Fuction)
激活函数的定义与作用 激活函数是深度学习、人工神经网络中一个十分重要的学习内容,对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有非常重要的作用。在深度学习模型中,一般...
卷积神经网络(CNN)算法详解
引言 卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks, FNN),是深度学习的代表算法之一 。 对卷积神...
Improved GANs
“Improved Techniques for Training GANs”是一篇由Ian J. Goodfellow 和他的同事在 2016 年发表的论文,这篇论文对生成对抗网络(GANs)的训练过程做出了重要的改进和提议。这些改进主要集中...
RepVGG:新型卷积神经网络架构
1、设计动机 设计RepVGG的初衷是为了解决许多流行的深度学习模型在追求更高性能的过程中不断增加结构复杂性的问题。例如,为了提高性能,许多模型采用了如残差连接、瓶颈设计、组卷积等复杂设计...
神经网络层结构的意义与维度诅咒
神经网络的层级结构 之前的博文中讲解了神经网络算法和深度学习模型,读者们是否有疑问:为什么神经网络模型要有层级结构?深度学习模型为什么需要这么多的隐藏层? 答案很简单,这是算法分析数...
长短期记忆网络(LSTM)和门控循环单元(GRU)算法详解
引言 传统循环神经网络在处理长序列时面临梯度消失或爆炸问题。梯度消失是指在训练过程中,误差反向传播时,梯度随着时间步数的增加而指数级衰减。梯度爆炸则正好相反,这会导致模型难以学习到...
基于注意力机制的循环神经网络(Attention-Based RNN)
算法原理 Attention-Based RNN 是一种基于注意力机制的 RNN 变体模型,它通过引入注意力机制来对序列中的不同部分进行加权,从而能够更好地捕捉序列数据中的重要信息。Attention-Based RNN...
f-GAN
引言 2016年的论文《f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization》引入了一种新的生成对抗网络(GAN)框架,名为f-GAN。这篇论文通过将传统的GAN训...
深度学习模型九大经典初始化方案
1. 正态分布初始化 正态分布初始化将权重初始化为来自正态(或高斯)分布的随机数。该分布通常以0为均值,其标准差(或方差)可以根据网络的特定需求进行调整。这种方法在保证权重不会开始时过...
生成对抗网络(GAN)
引言 生成对抗网络(GAN)是深度学习领域的一个革命性概念,为数据生成提供了一种全新的方式。其名称中的“对抗”体现了核心思想:通过两个神经网络之间的相互竞争来生成数据。这两个网络分别是...