奇异值分解与穆尔-彭罗斯伪逆

根据奇异值分解得到穆尔-彭罗斯伪逆的一个表达方式,同时证明不满秩情况下最小二乘问题的穆尔-彭罗斯伪逆的解为最小范数最小二乘解。

本章节内容主要来自于《Linear Algebra with Applications》的第七章数值线性代数。

奇异值分解

简要介绍可见PCA分析公式推导

简单地说,任何一个矩阵 ,均可以通过奇异值分解拆分为下式:

穆尔-彭罗斯伪逆

我们知道矩阵 的一个广义逆只需要满足下式,但是这样的广义逆矩阵不是唯一的,存在明显的缺陷。

如果一个实矩阵 满足下面四个条件 (常称 Moore-Penrose 条件),则矩阵 唯一的,称为穆尔-彭罗斯伪逆。

(1) ;
(2)
(3) 为实对称矩阵, 即 ;
(4) 为实对称矩阵, 即

如果矩阵 是一个 的秩为 的矩阵,我们将其进行奇异值分解,得到 ,其中矩阵 是一个 的矩阵,并且可以拆分为 (注:矩阵 的秩等于非零的奇异值的数目)

同时我们定义 是一个 $n \times m $ 的矩阵

我们可以证明穆尔-彭罗斯伪逆可以表示为下式

易证明该式符合上面的四个条件。

证明

首先易得 格式均为下式

因此易得 ,同时 均为对称矩阵,因此 的穆尔-彭罗斯伪逆。

然后我们证明 $ \mathbf{A^{+}}=\mathbf{V \Sigma^{+} U^{\mathrm{T}}}$ 是 的 穆尔-彭罗斯伪逆,过程如下

满秩情况下的最小二乘解

在正规方程组 中,如果 是一个 且秩为 的满秩矩阵, 的奇异值分解为 ,因此我们有

此时 的拆分形式为

因此 ,因此我们得到

正规方程组的解为

也就是说,如果 满秩,那么最小二乘问题的解为

不满秩情况下的最小范数最小二乘解

不满秩情况下,最小二乘问题有无穷多个解,我们证明 不仅是其中的一个解,而且是 L2 范数最小的解,即最小范数最小二乘解

此时设 是一个 且秩为 的不满秩矩阵, 的奇异值分解为

中的一个向量,并定义

其中 均为 中的一个向量,由于 是一个正交矩阵,因此我们有

由于 (线性) 无关,可得 取得最小值的充要条件为

因此最小二乘解的充要条件为 ,其中 向量的形式为

时,此时的

也就是说证明了 是其中的一个解。

如果 是任何其他的解,则 的形式必须为

其中 由此可得

因此我们证明了 是最小范数最小二乘解。

证明

如果我们对正规方程组 直接求伪逆,得到 $ \mathbf{x = (A^{\mathrm{‘}} A)^{+}A^{’} b}$ ,因此应该存在 ,证明这个式子需要用到穆尔-彭罗斯伪逆的一些性质。

首先我们证明 ,根据 ,我们得到 ,易证明该式就是 的奇异值分解形式,因此 , 其中 格式为下式

易得 ,因此我们得证

因此,我们有

得证。

  • 版权声明: 本博客所有文章除特别声明外,著作权归作者所有。转载请注明出处!
  • Copyrights © 2019-2022 Vincere Zhou
  • 访问人数: | 浏览次数:

请我喝杯茶吧~

支付宝
微信