优化算法 第2页
深度学习梯度弥散与爆炸-点头深度学习网站

深度学习梯度弥散与爆炸

问题描述 梯度弥散:在深层神经网络中,梯度弥散是指在反向传播过程中梯度逐渐变小,以至于在网络的较浅层梯度接近于零。这导致网络的这些层的权重几乎不更新,使得模型难以学习到输入数据的复...
点点的头像-点头深度学习网站点点7个月前
04710
梯度下降算法(Gradient Descent)-点头深度学习网站

梯度下降算法(Gradient Descent)

算法引言 梯度下降算法,这个在机器学习中非常常见的算法,可以用下山的例子来形象地解释。想象一下,你在一座山的顶端,目标是要以最快的速度下到山底。但由于浓雾遮挡,你看不清整座山的轮廓...
点点的头像-点头深度学习网站点点6个月前
0525