矩阵分解

矩阵分解,就是将一个矩阵分解为比较简单或性质较好的几个矩阵的乘积。

半正定矩阵的平方

为半正定 (正定) 矩阵,则存在唯一半正定 (正定) 矩阵 ,使得

反过来,我们称矩阵 的平方根,记为

证明: 设 的半正定 (正定) 矩阵,其可对角化为

其中 的特征值,令

显然, 且 $\mathbf{B}^{2} = \mathbf{A} $ 。

下面我们证明唯一性,假设存在另外一个 Hermite 矩阵 且 $\mathbf{C}^{2} = \mathbf{A} $ ,那么假设 可对角化为下式,其中

并且我们有

的特征值,因此 ,于是

再由 得到

等价地

,即其元素为 。根据矩阵乘积的法则 ( 等于 的第 行乘以 的第 列 ),左右两边元素相等,得到

因而当 时,必有 。因此无论 是否相等,我们总有

也就是

等价于

因此唯一性得证,定理证毕。

奇异值分解

对于任意 秩为 的矩阵 ,其均存在奇异值分解形式 ,其中 分别为 的酉 (正交) 矩阵,$\mathbf{\Sigma} = \mathrm{diag}(\lambda_{1},\cdots, \lambda_{r}) $ 为 的对角矩阵,

证明:我们知道 ,因此其特征值均为非负数,假设其正特征值为 ,因此其可以对角化为

其中 ,记 ,因此上式变为

这表明 个列互相正交,且前 个列向量长度分别为 ( ) ,后 列均为 向量。

于是,存在一个酉矩阵 ,可以将 表示为

于是我们得证 ,因此得证。

性质

根据证明过程,我们知道 的特征向量组成的矩阵, 的特征值。

同理,根据下式我们可得,

因为,我们知道 的列是 的特征向量 , 的特征值。

称为 矩阵 奇异值,奇异值是唯一的,但是 不唯一。 矩阵 的秩等于非零奇异值的数目,证明很简单,由于 均为满秩矩阵,因此

当 矩阵 的秩序为 ,设 ,则 ,证明如下

极分解

的方阵,则存在 的酉矩阵 的半正定矩阵 ,使得

可逆,则这种分解是唯一的。

证明:对 进行奇异值分解得到 ,稍做转换得到

其中

其中 为酉矩阵,得证存在性。

下面我们证明 可逆时极分解的唯一性,假设 ,其中 为酉矩阵, 皆正定(因为 $r\left( \mathbf{A} \right) = r\left( \mathbf{SU} \right) \leq r\left( \mathbf{S} \right) $ 。

并且我们有 ,我们知道 均为半正定矩阵 的平方根矩阵,我们已知半正定矩阵的平方根矩阵是唯一的,因此 。同时我们有

得证唯一性,证明完毕。

Schur 酉三角分解

为复方矩阵,则存在酉矩阵 ,使得

其中 为上 (或下) 三角矩阵,其对角元素为 的特征值。

为实方阵且特征值均是实数,则 为正交矩阵。

证明:对 的阶数采用数学归纳法证明,对 ,命题显然成立( ,其实 从 开始更好理解 )。

现在假设命题对 的方阵成立,设 阶方阵,其特征值为 ,令 为相对于 单位特征向量,我们可以得到一组包含 的一组基,利用格拉姆-施密特正交化过程,将这些向量转化为一组标准正交基, ,定义酉矩阵 ,则

其中第一列为 ,即第一列第一个元素为 ,其他元素为 0 。

其中 的方阵,由于 相似,因此特征值相同,因此 的特征值为 。由于我们假设命题对 的方阵成立,因此存在 阶的酉矩阵 ,使得

这里 为上三角矩阵,其对角元素为 的特征值 ,令

我们有下式成立,因此 为酉矩阵

同时我们有

因此,我们证明了 为上三角矩阵的情形。若对 进行上面的分解,则有 ,此时则有 ,因此同样可以分解为下三角矩阵的情况。

最后看 为实方阵且特征值均是实数的情况,此时它的特征向量都可以取为实向量。简单证明一下若 为实方阵且特征值均是实数,则它的特征向量都可以取为实向量。第一种是 ,此时特征向量就是在实矩阵的零空间中,因此显然其可以为实向量;第二种是假设特征值 存在一个复特征向量 ,则 ,共轭得到 ,即 也是一组特征值和特征向量,两个方程相加得到 ,因此我们一定可以找到一个实特折向量

然后我们同样采用上面的归纳法证明,只是此时 需要替换为正交矩阵,证明略。

满秩分解

对于任意 秩为 的矩阵 ,则存在 且秩皆为 的矩阵 ,使得

证明:设 矩阵 的相抵标准形如下,其中 的可逆矩阵

进行分块,得到

其中 分别为 的列 (行) 满秩矩阵,我们有

证明完毕。

QR 分解

对于任意 秩为 的满列秩矩阵 ,则存在 矩阵 上三角矩阵 ,使得 。其中 , 的对角元素为正数。如果 为实矩阵,则 也是实矩阵。

证明:对矩阵 施加施密特正交化,便可以得到主要结论。

: 如果矩阵 不满秩,其秩为 ,此时 仍然成立,且 , 但此时 的对角元素可以为零。

Cholesky 分解

设矩阵 正定矩阵,则存在上三角矩阵 ,其对角线元素均为正数,使得

为实矩阵,则 的元素均为实数。

证明:因为 ,故存在 ,使得 ,对 作 QR 分解,有 ,这里 为酉矩阵, 为上三角矩阵,其对角元素阶为正数。于是

得证。

更详细的内容可见 Cholesky 分解

1

谱分解

的 Hermite 矩阵,则存在一个酉矩阵对角化 ,即下式成立。其中 为由 矩阵特征值组成的对角矩阵,其元素均为实数; 矩阵的列均为 矩阵 的特征向量。

为实对称矩阵时, 矩阵为正交矩阵。

证明:根据 Schur 酉三角分解易得

,左乘 ,右乘 后得到

因此 为对角矩阵,即

下面证明 Hermite 矩阵的特征值均为实数,对 进行共轭转置得到 ,右乘 得到

得证 Hermite 矩阵的特征值均为实数。

为实对称矩阵时,同样根据 Schur 酉三角分解,易得此时 矩阵为正交矩阵。

正规矩阵

的方阵 满足 ,则称为正规矩阵 (normal matrix) 。

定理:一个方阵 是正规矩阵,当且仅当方阵 可以找到一组彼此正交的特征向量集。

首先证明充分性,假设 可以找到一组彼此正交的特征向量集, 那么其可以对角化为 ,注意其特征值不一定均为实数,即 是一个复矩阵。此时我们有

容易证明 ,其对角线元素为 ,非对角线元素均为 0 。

因此 ,得证。

再证明必要性,根据 Schur 酉三角分解,有 为上三角矩阵。因为 ,我们可以证明 也是正规矩阵,即 ,如下

得证 ,比较 对角线元素得到

根据第一个方程我们得到 ,其余方程同理,我们得到结论 矩阵非对角线元素均为0,即 为对角矩阵,因此我们有 ,得证 可以找到一组彼此正交的特征向量集。

参考文献

  1. Rencher A C, Schaalje G B. Linear models in statistics[M]. John Wiley & Sons, 2008.

  2. 王松桂, 杨振海. 广义逆矩阵及其应用[M]. 北京工业大学出版社, 1996.

  3. Leon S J, Bica I, Hohn T. Linear algebra with applications[M]. Upper Saddle River, NJ: Pearson Prentice Hall, 2006.

  4. Cholesky 分解

  • 版权声明: 本博客所有文章除特别声明外,著作权归作者所有。转载请注明出处!
  • Copyrights © 2019-2022 Vincere Zhou
  • 访问人数: | 浏览次数:

请我喝杯茶吧~

支付宝
微信