排序
Graph Attention Networks(GAT)
本章来学习一下图注意力网络GAT,首先对标GCN,来谈谈它们的优缺点。 GCN是处理transductive任务的一把利器,transductive任务是指:训练阶段与测试阶段都基于同样的图结构,如下图所示。 ...
多项式回归算法
算法解读 多项式回归是回归分析的一种形式,它允许因变量 \(y\) 与自变量 \(x\) 之间的关系模型化为 \(x\) 的 \(n\) 次多项式。多项式回归的标准形式如下:$$y=\beta_0+\beta_1 x+\beta_2 x^2+\b...
聚类算法之层次聚类 (Hierarchical Clustering)
层次聚类是一种非常独特和强大的聚类方法,与众多其他的聚类技术相比,它不仅为数据集提供了一个划分,还给出了一个层次结构,这在某些应用中是非常有价值的。在生物信息学、社会网络分析、市场...
灰狼优化算法(Grey Wolf Optimizer)
算法引言 灰狼算法(Grey Wolf Optimizer, GWO)是一种受自然界灰狼行为启发的优化算法。它模拟了灰狼的社会层次和狩猎策略,其中灰狼被分为四种角色:狼首领(Alpha)、狼副手(Beta)、狈顾问...
MobileNet:轻量化模型
1.MobileNet V1 MobileNet系列是由谷歌公司的Andrew G. Howard等人于2016年提出的轻量级网络结构,并于2017年发布在arXiv上。MobileNet系列的特点是模型小、计算速度快,适合部署到移动端或者嵌...
Graph Convolutional Network(GCN)
这里先回顾一下之前讲解的朴素图神经网络,如下图: 朴素图神经网络 图中左上角方框部分可以看作图神经网络的初始状态。以 1 号节点为例, 在图神经网络中, 信息的传递是先汇聚一号节点的邻居节...
聚类算法总结
1. K均值(K-Means) 计算效率高,适合大数据集。 结果易于解释。 缺点: 需要预先设定聚类数量 K。 对异常值敏感。 假设聚类为凸形且各向同性,可能不适用于复杂形状的数据分布。 初始中心点的...
梯度下降算法(Gradient Descent)
算法引言 梯度下降算法,这个在机器学习中非常常见的算法,可以用下山的例子来形象地解释。想象一下,你在一座山的顶端,目标是要以最快的速度下到山底。但由于浓雾遮挡,你看不清整座山的轮廓...
AS-MLP:注意力驱动下的多层感知机升级
0.引言 AS-MLP模型出自上海科技大学和腾讯优图实验室共同合作发表的文章,题为AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION。纯MLP网络架构专注于全局的信息交流,却忽略了局部信息的...
长短期记忆网络(LSTM)和门控循环单元(GRU)算法详解
引言 传统循环神经网络在处理长序列时面临梯度消失或爆炸问题。梯度消失是指在训练过程中,误差反向传播时,梯度随着时间步数的增加而指数级衰减。梯度爆炸则正好相反,这会导致模型难以学习到...