矩阵乘法

叉乘（普通乘法）

矩阵乘法（Matmul Product）是两个矩形相乘的操作，其结果是另一个矩阵。定义如下：

设有两个矩阵\(\boldsymbol{A}\)和\(\boldsymbol{b}\)，令\(\boldsymbol{A}\)是一个\(m\times n\)的矩阵，而\(\boldsymbol{B}\)是一个\(n\times p\)的矩阵。那么矩阵\(\boldsymbol{A}\)和\(\boldsymbol{B}\)的乘积\(\boldsymbol{C}\)是一个\(m\times p\)的矩阵，每个元素的值通过该公式计算得出：

$$\boldsymbol{C}_{ij}=\sum_{k=1}^n\boldsymbol{A}_{ik}\boldsymbol{B}_{kj}$$

其中\(\boldsymbol{C}_{ij}\)是结果矩阵\(\boldsymbol{C}\)的第\(i\)行第\(j\)列的元素。

设有矩阵\(\boldsymbol{A}\)和\(\boldsymbol{B}\)如下：

$$\boldsymbol{A}=\begin{bmatrix}1&2\\ 3&4\end{bmatrix}\\ \boldsymbol{B}=\begin{bmatrix}2&0\\ 1&3\end{bmatrix}$$

计算\(\boldsymbol{A \times B}\)的结果为：

$$\boldsymbol{A\times B}=\begin{bmatrix}4&6\\ 10&12\end{bmatrix}$$

点积（哈达玛积）

点积又称哈达玛积（Element-wise Product）表示两个矩阵对应元素相乘，二者维数必须相同，用\(\odot \)表示。如：

$$\begin{bmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{bmatrix}\odot \begin{bmatrix}b_{11}&b_{12}\\b_{21}&b_{22}\end{bmatrix}=\begin{bmatrix}a_{11}b_{11}&a_{12}b_{12}\\a_{21}b_{21}&a_{22}b_{22}\end{bmatrix}$$

克罗内克积

克罗内克积（Kronecker Product）也称为直积或张量积，表示两个任意大小矩阵间的运算，矩阵\(\boldsymbol{A}\)的每个元素逐个与矩阵\(\boldsymbol{B}\)相乘，用\(\otimes\)表示。如：

$$\begin{bmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{bmatrix}\otimes\begin{bmatrix}b_{11}&b_{12}\\b_{21}&b_{22}\end{bmatrix}=\begin{bmatrix}a_{11}b_{11}&a_{11}b_{12}&a_{12}b_{11}&a_{12}b_{12}\\a_{11}b_{21}&a_{11}b_{22}&a_{12}b_{21}&a_{12}b_{22}\\a_{21}b_{11}&a_{21}b_{12}&a_{21}b_{11}&a_{22}b_{12}\\a_{21}b_{21}&a_{21}b_{22}&a_{22}b_{21}&a_{22}b_{22}\end{bmatrix}$$

可以发现，虽然以上计算都被称为矩阵乘法，但实际上已与常规理解中的乘法是完全不同的计算法则，不要强行与实数乘法联系起来以免造成混淆。