引言 神经网络，作为人工智能和机器学习领域的核心技术之一，具有极其重要的意义。它们通过模拟人类大脑的工作机制，使计算机能够学习和识别复杂的模式和数据。这种能力使得神经网络在诸多领域...

引言 2018年，对于处理文本的机器学习模型来说，可谓是一个转折点（更准确地说，是自然语言处理或简称NLP领域）。我们对于如何最佳地表示词语和句子，以捕捉其潜在的含义和关系的理解正在迅速发...

算法背景 萤火虫优化算法，是由剑桥大学的Xin-She Yang在2009年提出的一种基于群体智能的优化算法。它的灵感来源于萤火虫在夜晚闪烁发光的行为。在自然界中，萤火虫通过发光来吸引配偶或猎物，...

反向传播算法 梯度下降和反向传播是神经网络训练过程中两个非常重要的概念，它们密切相关。梯度下降是一种常用的优化算法，它的目标是找到一个函数的最小值或最大值。在神经网络中，梯度下降算...

算法背景 麻雀算法（Sparrow Search Algorithm, SSA）是一种受自然界麻雀群体行为启发的优化算法。想象一下，一群麻雀在寻找食物的过程中，它们需要在广阔的区域内快速而有效地搜索到食物资源。...

线性方程组与矩阵 先从线性方程组开始讲起，线性方程组的一般形式如下所示： $$\left\{\begin{aligned}a_{11}x_1+a_{12}x_2+&\cdots +a_{1n}x_n=b_1\\a_{21}x_2+a_{22}x_2+&\cdots +a_{...

0.引言 作为CVPR2017年的最佳论文，DenseNet模型脱离了通过加深网络层数（如VGGNet、ResNet）和加宽网络结构（如GoogLeNet）来提升网络性能的定式思维。转而从特征的角度考虑，通过特征重用和旁...

什么是向量 在上述讲解中，已经涉及了三个主要的数学系统：线性方程组、函数图形和矩阵。现在将介绍第四个系统：向量。线性代数的一个核心挑战是它涵盖了多个数学系统。要成功掌握线性代数，关...

0.引言 自从ViT模型被提出以后，在过去的几年里，Transformer在深度学习领域大杀四方。回顾近几年，在计算机视觉领域发表的文章绝大多数都是基于Transformer模型的，比如2021年ICCV的Best Paper...

引言 图在我们身边随处可见；现实世界中的物体通常是以它们与其它事物的联系来定义的。一组物体以及它们之间的联系，都可以自然地表达为一个图。十多年来，研究人员已经开发了在图数据上操作的...