线性相关性质及几何意义¶
向量的线性相关性，实际上抽象自平面\(\R^2\)和几何空间\(\R^3\)中的向量的几何关系。这里，我们将列出线性相关的基本性质，并给出这些概念的几何解释。
在以下的讨论中，我们将用\(V\)表示向量空间，用\(\F\)表示向量空间对应的域。
以下的讨论中“数”指的是域\(\F\)中的元素（未必是数），而“向量”可以是任何\(\F\)上的线性空间中的元素（未必是\(n\)维行向量或列向量）。如果读者尚未学过线性空间，可以先认为这里的向量指的是\(n\)维数组（也就是认为\(\F\)是数域，且\(V = \F^n\)）。
基本概念¶
向量组¶
有限个向量的有序组称为一个向量组(list of vectors)。
不同教材对于向量组也有不同的处理，有的教材视为集合，有的教材视为有序组。这里作为多元组，向量组与顺序有关，且一般允许向量重复。向量的排序会影响对应的表示（如系数、坐标、矩阵等），但有些时候向量的顺序在定理中并不重要，此时可以交换向量的顺序而不影响命题的成立，但要注意对应系数的变化。
本节中可能用\(\{v_1, \dots, v_n\}\)表示\(n\)个向量\(v_1, \dots, v_n\)组成的向量组，但注意这里的花括号只是一种表示，不完全等同于集合，处理上我们可能允许元素重复或限定向量顺序。
这里可能依然使用\(v_ \in S_1\)表示向量组\(S_1\)中的向量\(v\)，并且可能用“不妨”省略调换向量顺序的过程。
向量间关系¶
线性组合和线性表出¶
对于\(n\)个向量\(v_1, \dots, v_n\)，它的线性组合(linear combination)定义为：
其中\(a_1, \dots, a_n\)是域\(\F\)中的数。
如果一个向量\(v\)可以表示为向量组\(u_1, \dots, u_n\)的线性组合，也就是存在\(a_1, \dots, a_n \in \F\)使得
则称\(v\)可由向量组\(u_1, \dots, u_n\)线性表出或线性表示。
张成空间¶
向量组\(v_1, \dots, v_n\)的全体线性组合，称为\(v_1, \dots, v_n\)的张成空间(span)，通常记为 \(L(v_1, \dots, v_n)\)或\(\span(v_1, \dots, v_n)\)。也就是说：
通常，我们会定义空向量组\({}\)的span为\({0}\)，因为空向量组（0个向量）可以对应0维空间。
Notation
张成空间实际上是\(V\)的一个线性子空间，因为张成空间对加法和数乘封闭。
有了张成空间后，我们可以把“\(v\)可由\(u_1, \dots, u_n\)线性表出”用符号表示为：
span的几何意义
span实际上描述了向量所能确定的直线或平面。例如一个非零向量能确定一条过原点的直线，空间中两个不共线的向量能确定一个过原点的平面，等等。
线性相关和线性无关¶
如果非空向量组\(v_1, \dots, v_n\)中存在某个向量可由其他向量线性表示，则称向量组\(v_1, \dots, v_n\)线性相关(linearly dependent)。也可等价地定义为，如果存在\(\F\)中不全为零(not all zero)的数\(a_1, \dots, a_n\)使得
则称这\(n\)个向量线性相关。
如果一个向量组不是线性相关的，就称这个向量组线性无关或线性独立(linearly independent)。也可以等价地定义为，如果令\(a_1 v_1 + \cdots + a_n v_n = 0\)，则必有\(a_1 = \cdots = a_n = 0\)，就称向量组线性无关。
线性相关性的几何意义
线性相关和线性无关是从几何空间向量抽象出来的关系。在解析几何中，我们知道，两个非零向量\(\vec{u}, \vec{v}\)共线的条件是\(\exists \lambda \in \R\) s.t. \(\vec{u} = \lambda \vec{v}\)，而如果再考虑可能有零向量的情况，我们又可以把这个条件写为：存在不全为零的\(\lambda, \mu \in \R\) s.t.
同样地，空间中三个向量\(\vec{u}, \vec{v}, \vec{w}\)共面的条件是：\(\exists a, b, c \in \R\)，\(a, b, c\)不全为零， s.t.
为什么共线共面这么特殊呢？一般情况下，任取平面内两个向量\(\vec{u}, \vec{v}\)，我们知道它们的线性组合\(\lambda\vec{u} + \mu\vec{v}\)应该可以涵盖平面内所有的向量（或者说，它们的span是整个平面）；但是在共线的情况下，它们最多只能表示一条直线上的所有向量了（极端的情况下，即两个都是零向量时，甚至只能表示原点）。也就是说，它们自己内部打架，本来可以张成2维空间，共线后只能张成1维了，维度降低了一级。同样地，在三维空间中，\(\vec{u}, \vec{v}, \vec{w}\)出现共面后，它们的线性组合也只能表示空间中的部分向量。
将几何中共线共面的概念抽象和应用到高维空间，我们就总结出了线性相关和线性无关的概念，它们反映的是高维上的某种共面关系。
线性相关的一个性质：
若向量组\(v_1, \dots, v_n\)的一个部分\(v_{i_1}, \dots, v_{i_m}\) \((m < n)\) 线性相关，则这个向量组的也线性相关。
等价的逆否命题为：若向量组\(v_1, \dots, v_n\)线性无关，则该组的一个部分\(v_{i_1}, \dots, v_{i_m}\) \((m < n)\) 也线性无关。
Proof
不妨设前\(m\)个向量\(v_1, \dots, v_m\)线性相关（否则可以调换向量的顺序达到这一点），则存在不全为零的数\(a_1, \dots, a_m\) s.t.
补上\((n - m)\)个系数\(a_{m+1} = \cdots = a_n = 0\)，则有：
则存在不全为零的数\(a_1, \dots, a_m, a_{m+1}, \dots, a_n\)使得这些向量的线性组合为零向量，也即\(v_1, \dots, v_n\)线性相关。
组间关系¶
向量组的线性表出¶
通过向量的线性表出，我们可以定义向量组的线性表出。对于两个向量组\(S_1 = \{u_1, \dots, u_m\}\)，\(S_2 = \{ v_1, \dots, v_n \}\)，若\(S_2\)中的每一个向量\(v_i\)都可以由\(S_1\)线性表出，则称向量组\(S_1\)可由\(S_2\)线性表出。
符号和几何意义
\(S_1\)可由\(S_2\)线性表出当且仅当\(\span(S_1)\)是\(\span(S_2)\)的子空间（按定义很容易验证这一点），所以向量组的线性表出可以用符号表示为
这也是向量组线性表出的几何意义：当且仅当一个组张成的空间含在另一个组张成的空间内。例如，向量组\((1,0,0),(-3,0,0)\)的span是\(x\)轴，而向量组\((1,1,1), (1,-1,-1)\)的span是平面\(z=y\)，包含了\(x\)轴，所以前者可由后者表出。
向量组的线性表出构成预序(preorder)，也就是说具有以下两个性质：
- 自反性(relexivity)：向量组\(S\)可由自己表出；
- 传递性(transitivity)：若\(S_1\)可由\(S_2\)表出，\(S_2\)可由\(S_3\)表出，则\(S_1\)可由\(S_3\)表出。
向量组的等价¶
两个向量组是等价(equivalent)的，指的是两个向量组可以相互线性表出。也就是说，两个向量组\(S_1, S_2\)等价，意味着\(S_1\)可以线性表出\(S_2\)，而\(S_2\)也可以线性表出\(S_1\)。
等价的符号和几何意义
类似于线性表出，\(S_1\)与\(S_2\)等价当且仅当\(\span(S_1) = \span(S_2)\)，这一点可以由相互线性表出得出span相互包含后很容易地推出。所以向量组的等价可以用符号表示为
向量组等价的几何意义是：两个向量组张成的空间相同。例如，向量组\((1,0,0),(0,1,1),(2,-1,-1)\)和向量组\((1,1,1), (1,-1,-1)\)张成的空间都是平面\(z=y\)，所以两者等价。
所以，我们也可以说，等价向量组对向量的线性表示能力相同。也就是说，可以由\(S_1\)线性表示的向量，一定也可以由\(S_2\)线性表示；不可以由\(S_1\)线性表示的，也一定不可以由\(S_2\)线性表示。
向量组的等价是一种等价关系(equivalence relation)，也就是满足以下三个性质：
- 自反性(reflexivity)：任何向量组\(S\)都与自身等价；
- 对称性(symmetry)：若\(S_1\)与\(S_2\)等价，则\(S_2\)与\(S_1\)等价；
- 传递性(transitivity)：若\(S_1\)与\(S_2\)等价，\(S_2\)与\(S_3\)等价，则\(S_1\)与\(S_3\)等价。
线性表出的一个基本定理¶
定理 如果向量组\(S_1\)的向量个数大于\(S_2\)的向量个数，且\(S_1\)可由\(S_2\)线性表出，那么\(S_1\)一定线性相关。
这个定理有多种表达方式，但各种表达都是等价的，例如《Linear Algebra Done Right》的表述：
如果\(S_1\)张成空间\(V\)，\(S_2\)是\(V\)中的一个线性无关向量组，则\(S_2\)的向量个数少于\(S_1\)的向量个数。
为证明这个定理，我们可以引入一个实用的引理：
引理(线性相关引理) 如果一个向量组\(S = \{ v_1, \dots, v_n \}\)线性相关，那么一定存在一个向量\(v_j\) s.t.
(1) \(v_j \in \span(v_1, \dots, v_{j-1})\)，即\(v_j\)可由排在\(v_j\)前面的\(j-1\)个向量线性表示；
(2) 从\(S\)中移除\(v_j\)后的向量组与\(S\)等价。
引理和定理的证明
我们采用Done Right的证明方法，不过稍微修改措辞以避开向量空间。先证明线性相关引理：
当\(v_1, \dots, v_n\)线性相关时，则存在不全为零的数\(a_1, \dots, a_n\) s.t.
如果\(a_n \ne 0\)，则我们可以将\(v_n\)表示为：
此时定理成立；如果\(a_n = 0\)，我们则可以对\(a_{n-1}, a_{n-2}, \dots, a_1\)重复以上讨论，直到找到非零的数。
利用这个引理，我们可以采用逐个向量插入向量组的方法，证明定理的逆否命题：
定理 如果\(S_1\)线性无关且\(S_1\)可由\(S_2\)线性表出，那么向量组\(S_1\)的向量个数小于\(S_2\)的向量个数。
Proof
令\(S_1 = \{u_1, \dots, u_m\}\)，\(S_2 = \{v_1, \dots, v_n\}\)。
将\(u_1\)插入\(S_2\)的前面，成为向量组：
此时由于\(u\)可由\(v_1, \dots, v_n\)线性表示，所以组\(S\)线性相关，根据线性相关引理，我们可以找出一个向量由前面的向量线性表出，且删除这个向量后的组与\(S\)等价。这个向量不可能为\(u_1\)(Why?)，所以只能从\(S\)中删去一个\(v\)，不妨设删去\(v_1\)。此时
继续将\(u_2\)插入\(S\)中，置于\(u_1\)后，此时
\(S\)依然线性相关，这是因为\(u_2\)可由其他向量线性表出(Why?)，则根据线性相关引理，我们可以删除一个向量。但这个向量不可能为\(u_1\)或\(u_2\)，因为这两个向量均不能由前面的向量线性表出(Why?)，所以我们只能再删除一个\(v\)，不妨设删去\(v_2\)。此时
重复以上步骤，我们可以将所有的\(u\)插入组\(S\)中，并从其中删除\(m\)个\(v\)。因为以上每一步都可行，所以最开始\(S_2\)至少有\(m\)个向量，即\(S_2\)的向量个数\(n \ge m\)。
Q.E.D.
向量组的秩¶
极大线性无关组¶
如果向量组\(S\)中的部分向量组\(B\)线性无关，且再往\(B\)内添上\(S\)的一个向量后后，\(B\)将线性相关，则称\(B\)是\(S\)的极大线性无关组，简称极大无关组。
\(B\)一般来说非空，但特殊情况下（如\(S\)是空向量组，或\(S\)全由零向量组成）\(B\)也可以是空向量组。
极大无关组的基本性质：
- 一个向量组与它的极大无关组等价。或者说，极大无关组和向量组的表出能力相同，张成的空间相同。
Proof
设向量组为\(S\)，极大无关组为\(B\)。因为\(B\)是\(S\)的一部分，显然\(B\)可由\(S\)线性表出；关键在于\(S\)可由\(B\)线性表出。
设\(S = \{ v_1, \dots, v_n \}\)，且不妨设\(B\)是\(S\)的前\(r\)个向量，也就是\(B = \{ v_1, \dots, v_r \}\)，则显然\(S\)中前\(r\)个向量可由\(B\)表出。
任取\(v_j \in S(j = r+1, \dots, n)\)，利用上面基本定理的证明相似的方法，将\(v_j\)插入到向量组\(B\)之后，则向量组
线性相关，则由线性相关引理，可以找到一个向量由前面的向量线性表出。但这里对于这个向量组，这个向量不可能是\(v_1, \dots, v_r\)中的一个（否则与线性无关矛盾），所以只能是\(v_j\)可由\(v_1, \dots, v_r\)线性表出。
- 一个向量组的任意两个极大无关组等价
这由传递性可以看出来。
同时，极大无关组也有别的判定方法：
定理 如果\(S\)中的一个部分组\(B\)线性无关，且可以线性表出所有\(S\)中的向量，则\(B\)是\(S\)的极大线性无关组。
这个定理也可以作为极大无关组的等价定义。
极大线性无关组的几何意义
从解析几何中我们知道，平面上可以选择两个不共线向量作为基底(base)，几何空间中可以选择三个不共面向量作为基底。基底的概念对应到线性代数中，就是向量组的极大无关组。
一个向量组\(S\)的张成空间为\(\span(S)\)，如果我们能在\(S\)中找到一组线性无关（广义的“不共面”）的向量，使得这组向量的线性组合能表达\(\span(S)\)中的一切向量，而向量又不多余（添上\(S\)内其他向量后都将变得“共面”），那么我们就可以称这是\(\span(S)\)的一个基底。
例如，对于向量组\(S = \{ (1, 0, 0), (1, -1, -1), (1, 1, 1), (-2, 0, 0) \}\)，它张成的空间是平面\(z = y\)。我们可以从其中选择\((1, 0, 0), (1, -1, -1)\)作为平面\(z = y\)的基底，这样我们就称\((1, 0, 0), (1, -1, -1)\)是\(S\)的一个极大无关组。
如果读者已经学过线性空间，那么极大无关组的概念就对应有限维线性空间的基（也可以叫基底，base）的概念，它正是平面、几何空间中基底概念的推广。
向量组的秩¶
利用上面提及的线性相关基本定理，以及任意两个无关组等价这一性质，我们可以得出这个结论：
定理 一个向量组的不同极大无关组拥有相同个数的向量。
证明过程很简单，设\(B_1, B_2\)是\(S\)的两个极大无关组，那么\(B_1\)可以线性表出\(B_2\)，\(B_2\)又线性无关，则\(\#B_1 \ge \#B_2\)（这里\(\#B_1\)表示\(B_1\)中的向量数）；同样地有\(\#B_2 \ge \#B_1\)，因此两个组的向量数相同。
有了这个定理做保障，我们就可以定义出向量组的秩(rank)了：向量组的秩就是极大无关组的向量个数。
秩的几何意义
如同上面所说的极大无关组对应基底，秩则对应了一个向量组张成空间的维数(dimension)。向量组的span的维数可以通过基底的数量来描述，所以在高维情况中，我们便使用基底的向量数来定义维数。
例如，向量组\(S = \{ (1, 0, 0), (1, -1, -1), (1, 1, 1), (-2, 0, 0) \}\)可以选择\((1, 0, 0), (1, -1, -1)\)作为极大无关组，所以它的秩就是2，对应它的张成空间是平面(2维空间)。同样地，我们也可以选择别的极大无关组，例如\((1, 0, 0), (1, 1, 1)\)或者\((1, -1, -1), (-2, 0, 0)\)（你可以自己画图验证），但无论怎么选择，极大无关组的向量数都是2。