排序
图神经网络基础:图论
引言 图在我们身边随处可见;现实世界中的物体通常是以它们与其它事物的联系来定义的。一组物体以及它们之间的联系,都可以自然地表达为一个图。十多年来,研究人员已经开发了在图数据上操作的...
微积分的基本定理
微积分不仅研究一个函数更深刻的性质(即更精细的乘除法),还研究不同函数之间的关系。举一个圆的例子,如果已知圆的周长,怎么求面积? 积分近似求解圆面积 上图中,当知道周长求面积时就用到...
大数定律与中心极限定理
大数定律与中心极限定理是统计学家总结出的自然现象,是概率统计的基石。很多定理和推论都是基于它们之上的研究。 大数法则 讲个故事,一位数学家调查发现,欧洲各地男婴与女婴的出生比例是22:...
重拾微分
微分(differential)和导数(derivative)都与函数的变化率有关,它们是两个相关但不完全相同的概念。首先一起深入了解这两者的定义和区别。 导数 导数描述了一个函数在某一点上的切线斜率。如...
线性方程组
线性方程组与矩阵 先从线性方程组开始讲起,线性方程组的一般形式如下所示: $$\left\{\begin{aligned}a_{11}x_1+a_{12}x_2+&\cdots +a_{1n}x_n=b_1\\a_{21}x_2+a_{22}x_2+&\cdots +a_{...
微分与函数的单调性、极值和凹凸性
函数单调性 函数单调性定义:若\(fx)\)在\((a,b)\)内可导,如果\(f'(x)>0\),那么函数在\((a,b)\)内单调递增;如果\(f'(x)<0\),那么函数在\((a.b)\)内单调递减。 用微分的定义(微分解释了...
矩阵乘法
叉乘(普通乘法) 矩阵乘法(Matmul Product)是两个矩形相乘的操作,其结果是另一个矩阵。定义如下: 设有两个矩阵\(\boldsymbol{A}\)和\(\boldsymbol{b}\),令\(\boldsymbol{A}\)是一个\(m\ti...
统计量和抽样分布
统计量 在数理统计学中,把研究对象的全体所构成的集合称为总体或母体,而把组成总体的每一个元素称为个体。在实际中,总体的分布往往不可得,因此统计学基本可以看作是用样本来推测总体分布情...
微分的链式法则
在机器学习中,尤其是在深度学习和神经网络中,链式法则用于计算复合函数的导数,这在反向传播算法中尤为关键。具体来说,当训练一个深度神经网络时,需要计算损失函数相对于每个权重的梯度。由...