排序
机器学习简介
1 机器学习基础 1.1 机器学习的定义与核心概念 为了更深入地理解机器学习,我们可以从以下核心概念入手: 数据驱动:机器学习完全依赖于数据。这些数据既可以是结构化的,如表格,也可以是非结...
GPT-3:大语言模型的爆发
引言 在科技界,GPT3的热潮正如火如荼地展开。这类庞大的语言模型(比如GPT3)开始以它们惊人的能力让我们惊叹。虽然现在对于大多数企业来说,将它们直接应用于面对客户的业务中还不够可靠,但...
Graph Convolutional Network(GCN)
这里先回顾一下之前讲解的朴素图神经网络,如下图: 朴素图神经网络 图中左上角方框部分可以看作图神经网络的初始状态。以 1 号节点为例, 在图神经网络中, 信息的传递是先汇聚一号节点的邻居节...
ConvNeXt:卷积与设计策略的新篇章
0.引言 自从ViT模型被提出以后,在过去的几年里,Transformer在深度学习领域大杀四方。回顾近几年,在计算机视觉领域发表的文章绝大多数都是基于Transformer模型的,比如2021年ICCV的Best Paper...
Seq2Seq模型(Sequence to Sequence)
引言 Seq2Seq模型可以被认为是一种Encoder-Decoder模型的变体,其特别适用于处理序列到序列的任务,编码器将输入序列映射为一个固定长度的向量表示,解码器则使用这个向量表示来生成输出序列。...
卷积的九大变体算法
引言 卷积神经网络(CNN)的核心在于其多样化的卷积技术,每种技术针对不同的应用和性能需求有着独特的优势。逐通道卷积和逐点卷积关注单独通道的特征提取和通道间信息的融合。深度可分离卷积结...
DenseNet:特征复用真香
0.引言 作为CVPR2017年的最佳论文,DenseNet模型脱离了通过加深网络层数(如VGGNet、ResNet)和加宽网络结构(如GoogLeNet)来提升网络性能的定式思维。转而从特征的角度考虑,通过特征重用和旁...
鲸鱼优化算法(Whale Optimization Algorithm)
算法背景 鲸鱼优化算法(Whale Optimization Algorithm, WOA)是一种模拟鲸鱼捕食行为的优化算法。想象一下,你在大海上划船,突然一只庞大的鲸鱼跃出水面。鲸鱼猎食主要依靠两种策略:一是环绕...
蝙蝠优化算法(bat optimization algorithm)
算法背景 蝙蝠优化算法(Bat Algorithm)是一种基于群体智能的优化算法,它的灵感来源于蝙蝠捕食时的回声定位行为。想象一下,夜幕降临,一群蝙蝠在黑暗中飞翔,它们发出超声波并依靠回声来定位...
深度学习模型九大经典初始化方案
1. 正态分布初始化 正态分布初始化将权重初始化为来自正态(或高斯)分布的随机数。该分布通常以0为均值,其标准差(或方差)可以根据网络的特定需求进行调整。这种方法在保证权重不会开始时过...
MLP-Mixer: 并肩卷积与自注意,多层感知机的神奇魔法
0.引言 MLP-Mixer模型是谷歌AI团队于2021年初发表的文章,题为MLP-Mixer: An all-MLP Architecture for Vision。在计算机视觉领域的历史上,卷积神经网络一直是首选的模型。然而最近,注意力机...