2024年11月的文章
偏微分与全微分
在机器学习中,许多函数都是多变量的。需要知道每个输入变量的变化如何影响输出。偏微分正是用于这个目的的。例如,在线性回归中可能要最小化多变量函数(即损失函数)。偏微分指明每个权重的变...
微分与函数的单调性、极值和凹凸性
函数单调性 函数单调性定义:若\(fx)\)在\((a,b)\)内可导,如果\(f'(x)>0\),那么函数在\((a,b)\)内单调递增;如果\(f'(x)<0\),那么函数在\((a.b)\)内单调递减。 用微分的定义(微分解释了...
定积分与牛顿-莱布尼茨公式
牛顿-莱布尼茨公式提供了一种计算定积分的方法,即通过求取两个不定积分的差值。在机器学习中,这常常用于计算概率或期望值。例如在贝叶斯机器学习中,经常需要计算概率分布的期望值或方差。使...
向量的线性组合
什么是向量 在上述讲解中,已经涉及了三个主要的数学系统:线性方程组、函数图形和矩阵。现在将介绍第四个系统:向量。线性代数的一个核心挑战是它涵盖了多个数学系统。要成功掌握线性代数,关...
泰勒公式与麦克劳林公式
泰勒公式\(P_n(x)\) 泰勒公式允许用多项式来近似复杂的函数,这在算法中有时用于简化计算。例如,在高斯过程回归和一些其他贝叶斯方法中,泰勒展开用于线性化关于后验的计算。 泰勒公式的本质是...
微积分的基本定理
微积分不仅研究一个函数更深刻的性质(即更精细的乘除法),还研究不同函数之间的关系。举一个圆的例子,如果已知圆的周长,怎么求面积? 积分近似求解圆面积 上图中,当知道周长求面积时就用到...
梯度与方向导数
梯度是机器学习中的核心概念,尤其是在优化中,梯度提供了一个方向,指明如何调整参数以最小化损失函数。在梯度下降算法中,使用梯度的负方向来更新模型的权重,以逐步减少误差。 梯度是一个向...
矩阵乘法
叉乘(普通乘法) 矩阵乘法(Matmul Product)是两个矩形相乘的操作,其结果是另一个矩阵。定义如下: 设有两个矩阵\(\boldsymbol{A}\)和\(\boldsymbol{b}\),令\(\boldsymbol{A}\)是一个\(m\ti...