矩阵乘法的内涵和本质

理解矩阵乘法的内涵和本质。

下面的内容主要来自于《Linear Algebra with Applications》的第三章 向量空间和第四章 线性变换。[^1]

向量空间

子空间与张成(空间)

我们先看子空间的概念。

定义 为向量空间 的非空子集, 且 满足如下条件:

  • 对任意标量 , 若 , 则 .
  • , 则 .

称为 子空间 (subspace).

也就是说子空间 在标量乘法和向量加法的意义上应该是封闭的。

我们再看向量集合的张成的概念,如下:

定义 为向量空间 中的向量. (其中 , 为标量) 称为向量 线性组合 (linear combination). 向量 , 的所有线性组合构成的集合称为 张成 (span). 向量 的张成记 为 .

易证明,向量组合的张成是向量空间 的一个子空间。如果张成空间等于向量空间 ,此时我们称向量集合 , 的一个张集

举个例子,**基向量 ** 就是 的一个张集, 中任何一个向量 均可以表示为

再举个例子, 是不是 的一个张集呢?这个问题等价于,对于 中任何一个向量 是不是都可以表示为这三个向量的线性组合?即总能找到相应的 ,使得下式成立

你可以轻松证明,这三个向量是 的一个张集。

线性相关和线性无关

定义 如果向量空间 中的向量 满足 就可推出所有标量 必为 0 , 则称它们为线性无关的 (linearly independent),反之则称它们是线性相关的。

如果一组向量线性相关,那就说明至少有一个向量可以表示为其他向量的线性组合。

基和维数

定义 当且仅当向量空间 中的向量 满足

  • 线性无关,
  • 张成

时, 称它们是向量空间 (basis),如果 的一组基含有 个向量,那么我们称 的**维数 (dimension)**为

我们称 标准基 ,之所以称这个基为标准基,是因为使用这个基表示向量空间 最为自然。

举个例子, 就是 标准基,但是实际上 的基有无穷多种取法,比如上面例子中的 也是 的基。

这里定义基时要求线性无关,是因为只有 线性无关时,张集中的向量数目最小,并且向量空间 才可以唯一地 的 线性组合来表示。反过来说,如果张集的向量之间存在线性相关,那么对于向量空间 的每一个向量,你都可以找到张集的多个线性组合来表示这个向量。

定理 为向量空间 的一个张集, 则 中的任何 ( ) 个向量必线性相关.

证 令 中的 个向量, 其中 . 那么, 由于 张成 , 我们有

线性组合 可写为

重新排列各项, 我们看到

现在我们看下面这个方程组

这个齐次方程组的变量个数 ( 个数为 ) 多于方程个数 ( ). 因此, 方程组必有非平凡解 . 而将其代入到上式中我们得到

于是 为线性相关的。

根据这个定理,我们可以很容易推导出一个向量空间的维数是固定的,也就是说同一个向量空间的不同基的向量数目相同。另外,对于维数为 的向量空间 ,任意 个线性无关的向量张成

基变换

很多应用问题可以通过从一个坐标转化为另一坐标系而得到简化。在一个向量空间中转换坐标系,等同于从一组基转换为另外一组基

当我们从一组基转换为另一组基时,可以通过将给定的坐标向量 (coordinate vector) (定义为由有序基的基向量的长度组成的向量) 左乘一个**非奇异矩阵 **来实现,即新坐标为:

我们以最简单也是最常用的情况为例,假如我们希望用一组不同的基替代 的标准基,我们设新的基

给定一个向量在新的基中的坐标向量为 ,我们可以计算得到其在标准基中的坐标

如果令

上面的坐标转换等同于

我们称矩阵 为从基 转换到基 转移矩阵 (transition matrix) ,其为非奇异矩阵,因此反过来有

即矩阵 为从基 转换到基 转移矩阵 (transition matrix)

我们可以轻松推广多任意两个基的转换,如果我们设两个基为 ,关键在于如何将 中的每一个基向量 表示为 ,然后我们就可以像上面一样构建转移矩阵。

小结

这里我们看到一种矩阵乘法的情况,当一个非奇异矩阵乘以一组坐标向量时,其本质是基变换。两组基之间的转换是可逆的,二者的转移矩阵互为逆矩阵。

线性变换

在向量空间的学习中, 最重要的一类映射为线性变换.
定义 一个将向量空间 映射到向量空间 的映射 , 如果对所有 及所有的标量 ,

我们将该线性变换标记为:

我们称线性变换 上的线性算子 (linear operator) (翻译成函数或者映射不行吗,非要整一个新名词,算子)。

事实上,我们可以将每一个线性变换均表示为一个矩阵,存在以下定理:

定理 为一从 的线性变换, 则存在一个 矩阵 , 使得对 每一 , 有

事实上, 的第 个列向量为

证明

中的任意元素, 则

易得

因此,我们可以通过这个特性对每一个特定的线性变换 构建矩阵 。举个例子,定义线性变换

容易验证 为一线性变换. 我们希望求一个矩阵 , 使得对每一 . 用 做到这一点, 我们必须求 :

选择这些向量作为矩阵 的列向量:

为验证结果, 计算 ;

我们注意到在线性转换前后的坐标轴往往发生了改变,在这个例子中转换之前的坐标轴为

转换之后的坐标轴为:

小结

矩阵乘法 是一个函数,其本质是一个线性变换。如果 是一个 的矩阵,那么就对应着一个 的线性变换,在线性变换的过程中向量空间发生了改变。

总结

一般的矩阵乘法 对应着一个线性变换,一般来说这种线性变换不可逆,也就是一般找不到逆函数。

但是存在一种特殊情况,当 是一个非奇异矩阵时,此时 可以理解为基变换,即在两个坐标系中转换坐标,此时的线性变换可逆。

[^1]: 《Linear Algebra with Applications》 Ninth Edition
[^2]: 如何理解矩阵乘法?- 马同学

  • 版权声明: 本博客所有文章除特别声明外,著作权归作者所有。转载请注明出处!
  • Copyrights © 2019-2022 Vincere Zhou
  • 访问人数: | 浏览次数:

请我喝杯茶吧~

支付宝
微信