算法简介 Transformer架构于2017年6月推出。最初的研究重点是自然语言处理领域的翻译任务。随后，几个具有影响力的模型被引入，包括： （1）2018年6月：GPT，第一个预训练的Transformer模型，用...

引言 基本概念: K-最近邻居（KNN）算法是一种基于实例的学习，它用于分类和回归。在分类中，一个对象的分类由其邻居的“多数投票”决定，即对象被分配到其k个最近邻居中最常见的类别中。 重要性...

引言 Seq2Seq模型可以被认为是一种Encoder-Decoder模型的变体，其特别适用于处理序列到序列的任务，编码器将输入序列映射为一个固定长度的向量表示，解码器则使用这个向量表示来生成输出序列。...

1. 正态分布初始化 正态分布初始化将权重初始化为来自正态（或高斯）分布的随机数。该分布通常以0为均值，其标准差（或方差）可以根据网络的特定需求进行调整。这种方法在保证权重不会开始时过...

算法引言 灰狼算法（Grey Wolf Optimizer, GWO）是一种受自然界灰狼行为启发的优化算法。它模拟了灰狼的社会层次和狩猎策略，其中灰狼被分为四种角色：狼首领（Alpha）、狼副手（Beta）、狈顾问...

引言 卷积神经网络（CNN）的核心在于其多样化的卷积技术，每种技术针对不同的应用和性能需求有着独特的优势。逐通道卷积和逐点卷积关注单独通道的特征提取和通道间信息的融合。深度可分离卷积结...

1.EfficientNetV1 EfficientNet源自Google Brain的论文EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks。从标题中可以看出，这篇论文最主要的创新点是模型缩放。论...

算法引言 决策树是一种非常直观的机器学习算法，它模仿了我们日常生活中的决策过程。想象一下，你要决定周末去哪里玩，这个决定可能会基于一系列问题：天气怎么样？交通方便吗？费用多少？根据...

1、设计动机 设计RepVGG的初衷是为了解决许多流行的深度学习模型在追求更高性能的过程中不断增加结构复杂性的问题。例如，为了提高性能，许多模型采用了如残差连接、瓶颈设计、组卷积等复杂设计...

1. ShuffleNet V1 ShuffleNet V1是由旷视科技在2017年底为移动设备打造的轻量级卷积神经网络。其创新之处在于采用了组卷积（Group Convolution）和通道打散（Channel Shuffle）的方法，保证网络...