排序
微分与函数的单调性、极值和凹凸性
函数单调性 函数单调性定义:若\(fx)\)在\((a,b)\)内可导,如果\(f'(x)>0\),那么函数在\((a,b)\)内单调递增;如果\(f'(x)<0\),那么函数在\((a.b)\)内单调递减。 用微分的定义(微分解释了...
矩阵乘法
叉乘(普通乘法) 矩阵乘法(Matmul Product)是两个矩形相乘的操作,其结果是另一个矩阵。定义如下: 设有两个矩阵\(\boldsymbol{A}\)和\(\boldsymbol{b}\),令\(\boldsymbol{A}\)是一个\(m\ti...
统计量和抽样分布
统计量 在数理统计学中,把研究对象的全体所构成的集合称为总体或母体,而把组成总体的每一个元素称为个体。在实际中,总体的分布往往不可得,因此统计学基本可以看作是用样本来推测总体分布情...
微分的链式法则
在机器学习中,尤其是在深度学习和神经网络中,链式法则用于计算复合函数的导数,这在反向传播算法中尤为关键。具体来说,当训练一个深度神经网络时,需要计算损失函数相对于每个权重的梯度。由...
向量的线性组合
什么是向量 在上述讲解中,已经涉及了三个主要的数学系统:线性方程组、函数图形和矩阵。现在将介绍第四个系统:向量。线性代数的一个核心挑战是它涵盖了多个数学系统。要成功掌握线性代数,关...
偏微分与全微分
在机器学习中,许多函数都是多变量的。需要知道每个输入变量的变化如何影响输出。偏微分正是用于这个目的的。例如,在线性回归中可能要最小化多变量函数(即损失函数)。偏微分指明每个权重的变...
向量空间与向量的线性相关和线性无关
向量空间指的是线性组合的集合,例如\(b\)的向量空间是整个二维空间: $$\boldsymbol{b}=x_{1}\begin{bmatrix}2\\1\\ \end{bmatrix}+x_{2}\begin{bmatrix}-1\\1\\ \end{bmatrix}$$ 即:在二维空...
相关性分析
相关性分析 在函数关系(FunctionalRelationship)中,一个变量完全由另一个变量决定。例如,给定一个方程\(y=2x+3\) ,对于每一个\(x\) 的值, \(y\) 只有一个确定的值。这种关系可以是线性的、...
梯度与方向导数
梯度是机器学习中的核心概念,尤其是在优化中,梯度提供了一个方向,指明如何调整参数以最小化损失函数。在梯度下降算法中,使用梯度的负方向来更新模型的权重,以逐步减少误差。 梯度是一个向...