理解矩阵乘法的内涵和本质。

下面的内容主要来自于《Linear Algebra with Applications》的第三章 向量空间和第四章 线性变换。^[1]

向量空间

子空间与张成(空间)

我们先看子空间的概念。

定义 若 为向量空间 的非空子集, 且 满足如下条件：

• 对任意标量 , 若 , 则 .
• 若 且 , 则 .

则 称为 的子空间 (subspace).

也就是说子空间 在标量乘法和向量加法的意义上应该是封闭的。

我们再看向量集合的张成的概念，如下：

定义 令 为向量空间 中的向量. (其中 , 为标量) 称为向量 的线性组合 (linear combination). 向量 , 的所有线性组合构成的集合称为 的张成 (span). 向量 的张成记 为 .

易证明，向量组合的张成是向量空间 的一个子空间。如果张成空间等于向量空间 ，此时我们称向量集合 , 是 的一个张集。

举个例子，**基向量 ** 就是 的一个张集， 中任何一个向量 均可以表示为

再举个例子， 是不是 的一个张集呢？这个问题等价于，对于 中任何一个向量 是不是都可以表示为这三个向量的线性组合？即总能找到相应的 ，使得下式成立

你可以轻松证明，这三个向量是 的一个张集。

线性相关和线性无关

定义 如果向量空间 中的向量 满足 就可推出所有标量 必为 0 , 则称它们为线性无关的 (linearly independent)，反之则称它们是线性相关的。

如果一组向量线性相关，那就说明至少有一个向量可以表示为其他向量的线性组合。

基和维数

定义 当且仅当向量空间 中的向量 满足

• 线性无关,
• 张成

时, 称它们是向量空间 的基 (basis)，如果 的一组基含有 个向量，那么我们称 的**维数 (dimension)**为 。

我们称 的标准基为 ，之所以称这个基为标准基，是因为使用这个基表示向量空间 最为自然。

举个例子， 就是 的标准基，但是实际上 的基有无穷多种取法，比如上面例子中的 也是 的基。

这里定义基时要求线性无关，是因为只有 线性无关时，张集中的向量数目最小，并且向量空间 才可以唯一地用 的 线性组合来表示。反过来说，如果张集的向量之间存在线性相关，那么对于向量空间 的每一个向量，你都可以找到张集的多个线性组合来表示这个向量。

定理 若 为向量空间 的一个张集, 则 中的任何 ( ) 个向量必线性相关.

证 令 为 中的 个向量, 其中 . 那么, 由于 张成 , 我们有

线性组合 可写为

重新排列各项, 我们看到

现在我们看下面这个方程组

这个齐次方程组的变量个数 ( 个数为 ) 多于方程个数 ( ). 因此, 方程组必有非平凡解 . 而将其代入到上式中我们得到

于是 为线性相关的。

根据这个定理，我们可以很容易推导出一个向量空间的维数是固定的，也就是说同一个向量空间的不同基的向量数目相同。另外，对于维数为 的向量空间 ，任意 个线性无关的向量张成 。

基变换

很多应用问题可以通过从一个坐标转化为另一坐标系而得到简化。在一个向量空间中转换坐标系，等同于从一组基转换为另外一组基。

当我们从一组基转换为另一组基时，可以通过将给定的坐标向量 (coordinate vector) （定义为由有序基的基向量的长度组成的向量） 左乘一个**非奇异矩阵 **来实现，即新坐标为：

我们以最简单也是最常用的情况为例，假如我们希望用一组不同的基替代 的标准基，我们设新的基

给定一个向量在新的基中的坐标向量为 ，我们可以计算得到其在标准基中的坐标

如果令

上面的坐标转换等同于

我们称矩阵 为从基 转换到基 的转移矩阵 (transition matrix) ，其为非奇异矩阵，因此反过来有

即矩阵 为从基 转换到基 的转移矩阵 (transition matrix) 。

我们可以轻松推广多任意两个基的转换，如果我们设两个基为 和 ，关键在于如何将 中的每一个基向量 表示为 ，然后我们就可以像上面一样构建转移矩阵。

小结

这里我们看到一种矩阵乘法的情况，当一个非奇异矩阵乘以一组坐标向量时，其本质是基变换。两组基之间的转换是可逆的，二者的转移矩阵互为逆矩阵。

线性变换

在向量空间的学习中, 最重要的一类映射为线性变换.
定义 一个将向量空间 映射到向量空间 的映射 , 如果对所有 及所有的标量 和 ,

我们将该线性变换标记为：

我们称线性变换 为 上的线性算子 (linear operator) （翻译成函数或者映射不行吗，非要整一个新名词，算子）。

事实上，我们可以将每一个线性变换均表示为一个矩阵，存在以下定理：

定理 若 为一从 到 的线性变换, 则存在一个 矩阵 , 使得对 每一 , 有

事实上, 的第 个列向量为

证明：

若

为 中的任意元素, 则

易得

因此，我们可以通过这个特性对每一个特定的线性变换 构建矩阵 。举个例子，定义线性变换 为

容易验证 为一线性变换. 我们希望求一个矩阵 , 使得对每一 . 用 做到这一点, 我们必须求 和 :

选择这些向量作为矩阵 的列向量:

为验证结果, 计算 ;

我们注意到在线性转换前后的坐标轴往往发生了改变，在这个例子中转换之前的坐标轴为

转换之后的坐标轴为：

小结

矩阵乘法 是一个函数，其本质是一个线性变换。如果 是一个 的矩阵，那么就对应着一个 的线性变换，在线性变换的过程中向量空间发生了改变。

总结

一般的矩阵乘法 对应着一个线性变换，一般来说这种线性变换不可逆，也就是一般找不到逆函数。

但是存在一种特殊情况，当 是一个非奇异矩阵时，此时 可以理解为基变换，即在两个坐标系中转换坐标，此时的线性变换可逆。