排序
DenseNet:特征复用真香
0.引言 作为CVPR2017年的最佳论文,DenseNet模型脱离了通过加深网络层数(如VGGNet、ResNet)和加宽网络结构(如GoogLeNet)来提升网络性能的定式思维。转而从特征的角度考虑,通过特征重用和旁...
图神经网络基础:图论
引言 图在我们身边随处可见;现实世界中的物体通常是以它们与其它事物的联系来定义的。一组物体以及它们之间的联系,都可以自然地表达为一个图。十多年来,研究人员已经开发了在图数据上操作的...
Swin Transformer:窗口化的Transformer
0.引言 Swin Transformer是2021年微软研究院发表在ICCV(International Conference on Computer Vision)上的一篇文章,并且已经获得ICCV 2021最佳论文(Best Paper)的荣誉称号。Swin Transfor...
逻辑回归算法
逻辑回归算法解读 基本原理: 有了之前线性回归的学习,我们学习逻辑回归是非常简单的,核心就是通过sigmoid函数将线性回归的输出映射到(0,1)区间,表示为概率。简单来说,逻辑回归模型的输出是...
多项式回归算法
算法解读 多项式回归是回归分析的一种形式,它允许因变量 \(y\) 与自变量 \(x\) 之间的关系模型化为 \(x\) 的 \(n\) 次多项式。多项式回归的标准形式如下:$$y=\beta_0+\beta_1 x+\beta_2 x^2+\b...
GPT-3:大语言模型的爆发
引言 在科技界,GPT3的热潮正如火如荼地展开。这类庞大的语言模型(比如GPT3)开始以它们惊人的能力让我们惊叹。虽然现在对于大多数企业来说,将它们直接应用于面对客户的业务中还不够可靠,但...
模拟退火(Simulated Annealing)
算法引言 模拟退火算法是一种启发式搜索算法,它受到物理学中固体物质退火过程的启发。在物理学中,退火是一种将材料加热至高温,然后缓慢冷却以减少材料内部应力的过程。在这个过程中,材料的...
AS-MLP:注意力驱动下的多层感知机升级
0.引言 AS-MLP模型出自上海科技大学和腾讯优图实验室共同合作发表的文章,题为AS-MLP: AN AXIAL SHIFTED MLP ARCHITECTURE FOR VISION。纯MLP网络架构专注于全局的信息交流,却忽略了局部信息的...
ConvNeXt:卷积与设计策略的新篇章
0.引言 自从ViT模型被提出以后,在过去的几年里,Transformer在深度学习领域大杀四方。回顾近几年,在计算机视觉领域发表的文章绝大多数都是基于Transformer模型的,比如2021年ICCV的Best Paper...
图神经网络:图的向量化
引言 图神经网络(Graph Neural Networks,GNNs)是一种专门用于处理图形数据的神经网络架构。图形数据是一种非欧几里得数据,其中主要包括节点(vertices)和边(edges),节点代表实体,边表...