向量空间与向量的线性相关和线性无关

向量空间指的是线性组合的集合，例如\(b\)的向量空间是整个二维空间：

$$\boldsymbol{b}=x_{1}\begin{bmatrix}2\\1\\ \end{bmatrix}+x_{2}\begin{bmatrix}-1\\1\\ \end{bmatrix}$$

即：在二维空间中的任何一个向量\(b\)，都可以通过向量\(\begin{bmatrix}2\\ 1\end{bmatrix}\)和\(\begin{bmatrix}-1\\ 1\end{bmatrix}\)的线性组合进行表示。向量空间的严谨定义是：对向量加法和数乘（即线性组合）都封闭的非空集合，就是向量空间。

基本单位向量（standard basis vector）指向量中只有一个标量为1,其余标量均为0。如公式(1-63) 为二维向量空间的基本单位向量：

$$\mathrm{span}\left\{\begin{bmatrix}1\\ 0\end{bmatrix}.\begin{bmatrix}0\\ 1\end{bmatrix}\right\}=R^2$$

怎么确定一个向量\(b\)是否在\(\{a_1,a_2,\cdots,a_n\}\)的向量空间中呢？其实就是去求解向量\(b\)是否可以在向量空间中被表示。如判断向量\(\begin{bmatrix}-1\\ 4\\ 11\end{bmatrix}\)是否存在于向量空间\(\left\{\begin{bmatrix}1\\ 2\\ -4\end{bmatrix},\begin{bmatrix}-3\\ -5\\ 13\end{bmatrix},\begin{bmatrix}2\\ -1\\ -12\end{bmatrix}\right\}\)中。

可以把这个问题转化成线性方程组求解的问题。即求解一个向量是否在向量空间中，就是求向量对应的线性方程组是否有解。其转化成线性方程组的过程如下所示：

$$x_{1}\begin{bmatrix}1\\2\\-4\end{bmatrix}+x_{2}\begin{bmatrix}-3\\-5\\13\end{bmatrix}+x_{3}\begin{bmatrix}2\\-1\\-12\end{bmatrix}=\begin{bmatrix}-1\\4\\11\end{bmatrix}$$

$$\begin{bmatrix}x_{1}\\2x_{1}\\-4x_{1}\end{bmatrix}+\begin{bmatrix}-3x_{2}\\-5x_{2}\\13x_{2}\end{bmatrix}+\begin{bmatrix}2x_{3}\\-x_{3}\\-12x_{3}\end{bmatrix}=\begin{bmatrix}-1\\4\\11\end{bmatrix}$$

$$\begin{bmatrix}x_1-3x_2+2x_3\\ 2x_1-5x_2-x_3\\ -4x_1+13x_2-12x_3\end{bmatrix}=\begin{bmatrix}-1\\4\\11\end{bmatrix}$$

$$\begin{bmatrix}1&-3&2\\2&-5&-1\\-4&13&-12\end{bmatrix}\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix}=\begin{bmatrix}-1\\4\\11\end{bmatrix}$$

注意，这只是一种表达方式，并不能把\(x\)的值解出来，要求解的话还是要转换成增广矩阵再进行求解。最后可解得：

$$\begin{aligned}&x_{1}=30\\&x_{2}=11\Longrightarrow x=\begin{bmatrix}30\\11\\1\end{bmatrix}\\&x_{3}=1\end{aligned}$$

向量的线性相关和线性无关

如果\(x_1\vec{a_1}+x_2\vec{a_2}+\cdots+x_n\vec{a_n}=0\)，可以找到至少一个\(x_i\)不为 0 ，即\(x_1,x_2,\cdots,x_n\)不全为 0 ，则\(\{\vec{a_1},\vec{a_2},\cdots,\vec{a_n}\}\)线性相关。

如果\(x_1\vec{a_1}+x_2\vec{a_2}+\cdots+x_n\vec{a_n}=0\)，只在\(x_1=x_2=\cdots=x_n=0\)的情况下成立，则\(\{\vec{a_1},\vec{a_2},\cdots,\vec{a_n}\}\)线性无关。

关于线性相关性存在一个定理：\(n+1\)个\(n\)维向量必线性相关。例如三个3维向量可以线性无关，但三个2维向量一定线性相关，如上图所示。

如何判断一组向量是否线性相关呢？直接进行矩阵求解就好，如：

\(\vec{a_1}=\begin{bmatrix}-1\\0\\2\end{bmatrix},\vec{a_2}=\begin{bmatrix}3\\-2\\2\end{bmatrix},\vec{a_3}=\begin{bmatrix}5\\2\\-6\end{bmatrix}\)，判断\(x_1\vec{a_1}+x_2\vec{2_2}+x_c\vec{a_3}=0\)（或写作\(\matrix{A}\vec{x}=0\)）是否线性相关？

$$\begin{aligned}&\matrix{A}\vec{x}=0 \\ \Rightarrow &\left[\begin{array}{rrr}-1&3&5 \\ 0&-2&2 \\ 2&2&-6 \end{array}\right]\begin{bmatrix}x_1\\ x_2\\ x_3\end{bmatrix}=\begin{bmatrix}0\\ 0\\ 0\end{bmatrix}\rightarrow \left[\begin{array}{rrr|r}-1&3&5&0\\ 0&-2&2&0 \\ 2&2&-6&0 \end{array}\right]\Rightarrow\left[\begin{array}{rrr|r}1&-3&5&0\\ 0&1&-1&0\\ 0&0&1&0 \end{array}\right]\end{aligned}$$

解得\(x_3=0,x_2=0,x_1=0\)，根据之前线性相关性的定义，\(\vec{a_1},\vec{a_2},\vec{a_3}\)线性无关。如果把\(\vec{a_3}\)的值进行修改，相关性会有什么变化呢？

$$\vec{a_1}=\begin{bmatrix}-1\\0\\2\end{bmatrix},\vec{a_2}=\begin{bmatrix}3\\-2\\2\end{bmatrix},\vec{a_3}=\begin{bmatrix}-2\\0\\4\end{bmatrix}\\\left[\begin{array}{rrr|r}-1&3&-2&0\\0&-2&0&0\\2&2&4&0\end{array}\right]\Rightarrow\left[\begin{array}{rrr|r}1&-3&2&0\\0&1&0&0\\0&0&0&0\end{array}\right]$$

解得：

$$\begin{aligned}x_3 &=k\\ x_2 &=0 \\x_1 &=-2k\end{aligned}\Rightarrow \vec{x}=\begin{bmatrix}-2\\0\\1\end{bmatrix} $$

此时\(\vec{x}\)有无穷解，说明\(\vec{a_1},\vec{a_2},\vec{a_3}\)线性相关。

小结一下向量线性相关性的判断思路：判断向量的线性相关性可以通过将其转化为线性组合问题，然后表示为线性方程组。接着使用增广矩阵来描述该方程组并将其转化为阶梯形矩阵。最终，如果该矩阵有唯一解，则向量线性无关；如果有无穷多个解（对应一个自由列），则向量线性相关。

结合下面这五种情况，不难发现，向量的数量和维度都不是决定向量空间（也称为张成空间）的决定性因素，而是需要结合向量的线性无关性来进行考量。

第一种情况：\(\vec{u_1}= \begin{bmatrix}1\\1\end{bmatrix},\vec{u_2}=\begin{bmatrix}0\\1\end{bmatrix}\)，显然，向量\(\vec{u_1}\)和\(\vec{u_2}\)是两个线性无关的二维向量，它构成了二维空间\(R^2\)的一组基，因此它们的张成空间就是整个二维空间\(R^2\)。

第二种情况：\(\vec{u_1}= \begin{bmatrix}1\\1\end{bmatrix},\vec{u_2}=\begin{bmatrix}-1\\-1\end{bmatrix}\)，\(\vec{u_1}=-\vec{u_2}\)。因此\(\vec{u_1}\)和\(\vec{u_2}\)线性相关的共线向量，它们的张成空间是一条穿过原点的一维直线。

第三种情况：\(\vec{u_1}= \begin{bmatrix}1\\1\\1\end{bmatrix},\vec{u_2}=\begin{bmatrix}1\\-1\\1\end{bmatrix}\)，\(\vec{u_1}\)和\(\vec{u_2}\)两个三维向量线性无关，但是由于向量的个数只有两个，因此它们的张成空间是三维空间中的一个穿过原点的平面。

第四种情况：\(\vec{u_1}= \begin{bmatrix}1\\1\\1\end{bmatrix},\vec{u_2}=\begin{bmatrix}1\\-1\\1\end{bmatrix},\vec{u_3}=\begin{bmatrix}3\\-1\\3\end{bmatrix}\)，虽然向量的个数是3，但\vec{u_3}=\vec{u_1}+2\vec{u_2}，因此它们是三个线性相关的共面向量，张成的空间仍然只是三维空间中的一个穿过原点的平面。

第五种情况：\(\vec{u_1}= \begin{bmatrix}1\\1\\1\end{bmatrix},\vec{u_2}=\begin{bmatrix}1\\-1\\1\end{bmatrix},\vec{u_3}=\begin{bmatrix}3\\-1\\5\end{bmatrix}\)，\(\vec{u_1},\vec{u_2},\vec{u_3}\)三个向量线性无关，构成三维空间\(R^3\)中的一组基，因此它们的张成空间是整个三维空间\(R^3\)。