排序
MobileNet:轻量化模型
1.MobileNet V1 MobileNet系列是由谷歌公司的Andrew G. Howard等人于2016年提出的轻量级网络结构,并于2017年发布在arXiv上。MobileNet系列的特点是模型小、计算速度快,适合部署到移动端或者嵌...
Wasserstein GAN
引言 WGAN,即Wasserstein GAN,旨在解决传统GAN训练中的一些问题,尤其是训练不稳定和梯度消失。WGAN通过使用Wasserstein距离(Earth-Mover距离或EM距离)来衡量真实数据分布和生成数据分布之...
Graph Sample and Aggregate Network(GraphSAGE)
不管是GraphSAGE,还是GCN,它们的核心思想其实与朴素的GNN思想一致,都是每个节点根据图的连接结构,通过聚合邻居信息来更新自身节点的信息,再把更新后的节点向量送入神经网络层做进一步的学...
ResNet:神来之“路”
0.引言 深度残差网络(Deep Residual Network, ResNet)的提出是基于卷积算法处理图像问题领域的一件里程碑事件。ResNet在2015年发表当年取得了图像分类、检测等5项大赛第一,并再次刷新了CNN模...
BERT, ELMo大语言模型详解
引言 2018年,对于处理文本的机器学习模型来说,可谓是一个转折点(更准确地说,是自然语言处理或简称NLP领域)。我们对于如何最佳地表示词语和句子,以捕捉其潜在的含义和关系的理解正在迅速发...
MetaFormer: 万法归一,构建未来的Transformer模板
0.引言 经过前几个MLP模型的介绍,相信很多读者都会思考一个问题:在计算机视觉任务中,哪种算法更适合呢?事实上,MetaFormer模型给出了答案:算法并不是最重要的,框架结构才是关键。MetaForm...
VGGNet: 探索深度的力量
1.VGGNet模型总览 2014年,牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究员Karen Simonyan和Andrew Zisserman研发出了新的深度卷积神经网络:VGGNet,并在ILSVRC2...
AlexNet:深度学习崛起的标志
1.AlexNet理论 AlexNet模型与LeNet模型有很多相似之处,它可以被看作是LeNet的改进版本,都由卷积层和全连接层构成。然而,AlexNet之所以能够在ImageNet比赛中大获成功,还要归功于其独特...
Graph Attention Networks(GAT)
本章来学习一下图注意力网络GAT,首先对标GCN,来谈谈它们的优缺点。 GCN是处理transductive任务的一把利器,transductive任务是指:训练阶段与测试阶段都基于同样的图结构,如下图所示。 ...
EfficientNet:轻量化网络
1.EfficientNetV1 EfficientNet源自Google Brain的论文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks。从标题中可以看出,这篇论文最主要的创新点是模型缩放。论...