排序
基于注意力机制的循环神经网络(Attention-Based RNN)
算法原理 Attention-Based RNN 是一种基于注意力机制的 RNN 变体模型,它通过引入注意力机制来对序列中的不同部分进行加权,从而能够更好地捕捉序列数据中的重要信息。Attention-Based RNN...
梯度下降算法(Gradient Descent)
算法引言 梯度下降算法,这个在机器学习中非常常见的算法,可以用下山的例子来形象地解释。想象一下,你在一座山的顶端,目标是要以最快的速度下到山底。但由于浓雾遮挡,你看不清整座山的轮廓...
鲸鱼优化算法(Whale Optimization Algorithm)
算法背景 鲸鱼优化算法(Whale Optimization Algorithm, WOA)是一种模拟鲸鱼捕食行为的优化算法。想象一下,你在大海上划船,突然一只庞大的鲸鱼跃出水面。鲸鱼猎食主要依靠两种策略:一是环绕...
长短期记忆网络(LSTM)和门控循环单元(GRU)算法详解
引言 传统循环神经网络在处理长序列时面临梯度消失或爆炸问题。梯度消失是指在训练过程中,误差反向传播时,梯度随着时间步数的增加而指数级衰减。梯度爆炸则正好相反,这会导致模型难以学习到...
自注意力机制(Self-Attention)
Transformer模型中最关键部分就是自注意力(Self-Attention)机制,正如 Transformer 的论文的标题是“Attention Is All You Need”!以文本问题为例来讲解这个机制。在处理文本问题时,自注意...
逻辑回归算法
逻辑回归算法解读 基本原理: 有了之前线性回归的学习,我们学习逻辑回归是非常简单的,核心就是通过sigmoid函数将线性回归的输出映射到(0,1)区间,表示为概率。简单来说,逻辑回归模型的输出是...
循环神经网络(RNN)算法详解
引言 在第三章中,我们探讨了全连接神经网络(FCNN)和卷积神经网络(CNN)的结构,以及它们的训练方法和使用场景。值得注意的是,这两种网络结构都是处理独立的输入数据,即它们无法记忆或理解...
编码器-解码器模型(Encoder-Decoder)
编码器-解码器模型简介 Encoder-Decoder算法是一种深度学习模型结构,广泛应用于自然语言处理(NLP)、图像处理、语音识别等领域。它主要由两部分组成:编码器(Encoder)和解码器(Decoder)。...
AS-MLP:注意力驱动下的多层感知机升级
0.引言 AS-MLP模型出自上海科技大学和腾讯优图实验室共同合作发表的文章,题为AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION。纯MLP网络架构专注于全局的信息交流,却忽略了局部信息的...
多项式回归算法
算法解读 多项式回归是回归分析的一种形式,它允许因变量 \(y\) 与自变量 \(x\) 之间的关系模型化为 \(x\) 的 \(n\) 次多项式。多项式回归的标准形式如下:$$y=\beta_0+\beta_1 x+\beta_2 x^2+\b...