排序
长短期记忆网络(LSTM)和门控循环单元(GRU)算法详解
引言 传统循环神经网络在处理长序列时面临梯度消失或爆炸问题。梯度消失是指在训练过程中,误差反向传播时,梯度随着时间步数的增加而指数级衰减。梯度爆炸则正好相反,这会导致模型难以学习到...
卷积神经网络(CNN)算法详解
引言 卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks, FNN),是深度学习的代表算法之一 。 对卷积神...
粒子群算法(Particle Swarm Optimization)
算法背景 粒子群优化算法(Particle Swarm Optimization,PSO)的灵感来源于鸟群或鱼群的觅食行为。想象一下,你在公园里看到一群鸟,它们在空中飞翔,寻找食物。每只鸟都不知道食物在哪里,但...
梯度下降算法(Gradient Descent)
算法引言 梯度下降算法,这个在机器学习中非常常见的算法,可以用下山的例子来形象地解释。想象一下,你在一座山的顶端,目标是要以最快的速度下到山底。但由于浓雾遮挡,你看不清整座山的轮廓...
f-GAN
引言 2016年的论文《f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization》引入了一种新的生成对抗网络(GAN)框架,名为f-GAN。这篇论文通过将传统的GAN训...
支持向量机(SVM)
什么是SVM? SVM 是一类强大的用于分类和回归问题的监督学习算法。 在分类方面,SVM 可以被视为最大间隔线性分类器。 SVM 使用的目标明确鼓励低样本外误差(良好的泛化性能)。 通过最大化类的超...
遗传算法(Genetic Algorithm)
算法引言 遗传算法是一种模拟生物进化过程的搜索启发式算法。想象一下长颈鹿的进化过程:在古代,长颈鹿的祖先可能都有着不同长度的脖子。在食物竞争激烈的环境下,那些脖子较长、能够触及更高...
k最邻近算法(K-Nearest Neighbors,KNN)
引言 基本概念: K-最近邻居(KNN)算法是一种基于实例的学习,它用于分类和回归。在分类中,一个对象的分类由其邻居的“多数投票”决定,即对象被分配到其k个最近邻居中最常见的类别中。 重要性...
决策树(Decision tree)
算法引言 决策树是一种非常直观的机器学习算法,它模仿了我们日常生活中的决策过程。想象一下,你要决定周末去哪里玩,这个决定可能会基于一系列问题:天气怎么样?交通方便吗?费用多少?根据...
自注意力机制(Self-Attention)
Transformer模型中最关键部分就是自注意力(Self-Attention)机制,正如 Transformer 的论文的标题是“Attention Is All You Need”!以文本问题为例来讲解这个机制。在处理文本问题时,自注意...