根据奇异值分解得到穆尔-彭罗斯伪逆的一个表达方式，同时证明不满秩情况下最小二乘问题的穆尔-彭罗斯伪逆的解为最小范数最小二乘解。

本章节内容主要来自于《Linear Algebra with Applications》的第七章数值线性代数。

奇异值分解

简要介绍可见PCA分析公式推导

简单地说，任何一个矩阵 ，均可以通过奇异值分解拆分为下式：

穆尔-彭罗斯伪逆

我们知道矩阵 的一个广义逆只需要满足下式，但是这样的广义逆矩阵不是唯一的，存在明显的缺陷。

如果一个实矩阵 满足下面四个条件 (常称 Moore-Penrose 条件)，则矩阵 是唯一的，称为穆尔-彭罗斯伪逆。

(1) ;
(2)
(3) 为实对称矩阵, 即 ;
(4) 为实对称矩阵, 即 。

如果矩阵 是一个 的秩为 的矩阵，我们将其进行奇异值分解，得到 ，其中矩阵 是一个 的矩阵，并且可以拆分为 (注：矩阵 的秩等于非零的奇异值的数目)

同时我们定义 是一个 $n \times m $ 的矩阵

我们可以证明穆尔-彭罗斯伪逆可以表示为下式

易证明该式符合上面的四个条件。

证明：

首先易得 和 格式均为下式

因此易得 ， ，同时 和 均为对称矩阵，因此 是 的穆尔-彭罗斯伪逆。

然后我们证明 $ \mathbf{A^{+}}=\mathbf{V \Sigma^{+} U^{\mathrm{T}}}$ 是 的 穆尔-彭罗斯伪逆，过程如下

满秩情况下的最小二乘解

在正规方程组 中，如果 是一个 且秩为 的满秩矩阵， 的奇异值分解为 ，因此我们有

此时 的拆分形式为

因此 ，因此我们得到

正规方程组的解为

也就是说，如果 满秩，那么最小二乘问题的解为 。

不满秩情况下的最小范数最小二乘解

不满秩情况下，最小二乘问题有无穷多个解，我们证明 不仅是其中的一个解，而且是 L2 范数最小的解，即最小范数最小二乘解。

此时设 是一个 且秩为 的不满秩矩阵， 的奇异值分解为 。

令 为 中的一个向量，并定义

其中 和 均为 中的一个向量，由于 是一个正交矩阵，因此我们有

由于 与 (线性) 无关，可得 取得最小值的充要条件为 。

因此最小二乘解的充要条件为 ，其中 向量的形式为

当 时，此时的 为

也就是说证明了 是其中的一个解。

如果 是任何其他的解，则 的形式必须为

其中 由此可得

因此我们证明了 是最小范数最小二乘解。

证明

如果我们对正规方程组 直接求伪逆，得到 $ \mathbf{x = (A^{\mathrm{‘}} A)^{+}A^{’} b}$ ，因此应该存在 ，证明这个式子需要用到穆尔-彭罗斯伪逆的一些性质。

首先我们证明 ，根据 ，我们得到 ，易证明该式就是 的奇异值分解形式，因此 , 其中 格式为下式

易得 ，因此我们得证

因此，我们有

得证。