1. 正态分布初始化 正态分布初始化将权重初始化为来自正态（或高斯）分布的随机数。该分布通常以0为均值，其标准差（或方差）可以根据网络的特定需求进行调整。这种方法在保证权重不会开始时过...

引言 卷积神经网络（CNN）的核心在于其多样化的卷积技术，每种技术针对不同的应用和性能需求有着独特的优势。逐通道卷积和逐点卷积关注单独通道的特征提取和通道间信息的融合。深度可分离卷积结...

1.EfficientNetV1 EfficientNet源自Google Brain的论文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks。从标题中可以看出，这篇论文最主要的创新点是模型缩放。论...

1、设计动机 设计RepVGG的初衷是为了解决许多流行的深度学习模型在追求更高性能的过程中不断增加结构复杂性的问题。例如，为了提高性能，许多模型采用了如残差连接、瓶颈设计、组卷积等复杂设计...

1. ShuffleNet V1 ShuffleNet V1是由旷视科技在2017年底为移动设备打造的轻量级卷积神经网络。其创新之处在于采用了组卷积（Group Convolution）和通道打散（Channel Shuffle）的方法，保证网络...

0.引言 作为CVPR2017年的最佳论文，DenseNet模型脱离了通过加深网络层数（如VGGNet、ResNet）和加宽网络结构（如GoogLeNet）来提升网络性能的定式思维。转而从特征的角度考虑，通过特征重用和旁...

0.引言 SENet于2017.9提出，其通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力。即通道维度上的注意力机制。SE模块仅需微小的计算成本，却产生了显著的性能改进。SENet Block...

1.MobileNet V1 MobileNet系列是由谷歌公司的Andrew G. Howard等人于2016年提出的轻量级网络结构，并于2017年发布在arXiv上。MobileNet系列的特点是模型小、计算速度快，适合部署到移动端或者嵌...

0.引言 深度残差网络（Deep Residual Network, ResNet）的提出是基于卷积算法处理图像问题领域的一件里程碑事件。ResNet在2015年发表当年取得了图像分类、检测等5项大赛第一，并再次刷新了CNN模...

0.引言 在2014年的ImageNet挑战赛（ILSVRC14）上，GoogLeNet和VGGNet成为了当年的双雄。GoogLeNet获得了图片分类大赛的第一名，VGGNet紧随其后。这两种模型的共同特点是网络深度更深。VGGNet是...