矩阵分解，就是将一个矩阵分解为比较简单或性质较好的几个矩阵的乘积。

半正定矩阵的平方

设 \(\mathbf{A}\) 为半正定 (正定) 矩阵，则存在唯一半正定 (正定) 矩阵 \(\mathbf{B}\) ，使得 \[ \mathbf{A = B^{2}} \] 反过来，我们称矩阵 \(\mathbf{B}\) 为 \(\mathbf{A}\) 的平方根，记为 \(\mathbf{A}^{1/2}\) 。

证明： 设 \(\mathbf{A}\) 为 \(n \times n\) 的半正定 (正定) 矩阵，其可对角化为 \[ \mathbf{A} = \mathbf{U} \ \mathrm{diag}(\lambda_{1},\cdots, \lambda_{n}) \mathbf{U}^{*} \] 其中 \(\lambda_{1} \geq \cdots \geq \lambda_{n} \geq 0\) 为 \(\mathbf{A}\) 的特征值，令 \[ \mathbf{B} = \mathbf{U} \ \mathrm{diag}(\lambda_{1}^{1/2},\cdots, \lambda_{n}^{1/2}) \mathbf{U}^{*} \] 显然，\(\mathbf{B} \geq 0\) 且 $^{2} = $ 。

下面我们证明唯一性，假设存在另外一个 Hermite 矩阵 \(\mathbf{C} \geq 0\) 且 $^{2} = $ ，那么假设 \(\mathbf{C}\) 可对角化为下式，其中 \(u_{1} \geq \cdots \geq u_{n} \geq 0\) \[ \mathbf{C} = \mathbf{W} \ \mathrm{diag}(u_{1},\cdots, u_{n}) \mathbf{W}^{*} \] 并且我们有 \[ \mathbf{C}^{2} = \mathbf{W} \ \mathrm{diag}(u_{1}^{2},\cdots, u_{n}^{2}) \mathbf{W}^{*} = \mathbf{A} \] 故 \(u_{1}^{2},\cdots, u_{n}^{2}\) 为 \(\mathbf{A}\) 的特征值，因此 \(u_{i}^{2} = \lambda_{i}\) ，于是 \[ \mathbf{C} = \mathbf{W} \ \mathrm{diag}(\lambda_{1}^{1/2},\cdots, \lambda_{n}^{1/2}) \mathbf{W}^{*} \] 再由 \(\mathbf{B}^{2} = \mathbf{C}^{2}\) 得到 \[ \mathbf{U} \ \mathrm{diag}(\lambda_{1},\cdots, \lambda_{n}) \mathbf{U}^{*} = \mathbf{W} \ \mathrm{diag}(\lambda_{1},\cdots, \lambda_{n}) \mathbf{W}^{*} \] 等价地 \[ \mathbf{W}^{*} \mathbf{U} \ \mathrm{diag}(\lambda_{1},\cdots, \lambda_{n}) = \mathrm{diag}(\lambda_{1},\cdots, \lambda_{n}) \mathbf{W}^{*} \mathbf{U} \] 记 \(\mathbf{W}^{*} \mathbf{U} = (d_{ij})\) ，即其元素为 \(d_{ij}\) 。根据矩阵乘积的法则 ( \(\mathbf{AB}_{ij}\) 等于 \(\mathbf{A}\) 的第 \(i\) 行乘以 \(\mathbf{B}\) 的第 \(j\) 列 )，左右两边元素相等，得到 \[ d_{ij} \lambda_{j} = \lambda_{i} d_{ij}, \quad i,j = 1,\cdots,n \] 因而当 \(\lambda_{i} \neq \lambda_{j}\) 时，必有 \(d_{ij} = 0\) 。因此无论 \(\lambda_{i}\) 和 \(\lambda_{j}\) 是否相等，我们总有 \[ d_{ij} \lambda_{j}^{1/2} = d_{ij} \lambda_{i}^{1/2} , \quad i,j = 1,\cdots,n \] 也就是 \[ \mathbf{W}^{*} \mathbf{U} \ \mathrm{diag}(\lambda_{1}^{1/2},\cdots, \lambda_{n}^{1/2}) = \mathrm{diag}(\lambda_{1}^{1/2},\cdots, \lambda_{n}^{1/2}) \mathbf{W}^{*} \mathbf{U} \] 等价于 \[ \mathbf{U} \ \mathrm{diag}(\lambda_{1}^{1/2},\cdots, \lambda_{n}^{1/2}) \mathbf{U}^{*} = \mathbf{W} \ \mathrm{diag}(\lambda_{1}^{1/2},\cdots, \lambda_{n}^{1/2}) \mathbf{W}^{*} \] 即 \[ \mathbf{B = C} \] 因此唯一性得证，定理证毕。

奇异值分解

对于任意 \(m \times n\) 秩为 \(r\) 的矩阵 \(\mathbf{A}\) ，其均存在奇异值分解形式 \(\mathbf{A = U \Sigma V^{*}}\) ，其中 \(\mathbf{U}\) 和 \(\mathbf{V}\) 分别为 \(m \times m\) 和 \(n \times n\) 的酉 (正交) 矩阵，$ = ({1},, {r}) $ 为 \(m \times n\) 的对角矩阵, \(\lambda_{i} > 0, i = 1,\cdots, r\) 。

证明：我们知道 \(\mathbf{A^{*}A} \geq 0\) ，因此其特征值均为非负数，假设其正特征值为 \(\lambda_{1}^{2}, \cdots,\lambda_{r}^{2}\) ，因此其可以对角化为 \[ \mathbf{V^{*}A^{*}AV} = \left( \begin{array}{c} \mathbf{\Lambda^{2}} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \\ \end{array} \right) \] 其中 \(\mathbf{\Lambda^{2}} = \mathrm{diag}(\lambda_{1}^{2}, \cdots,\lambda_{r}^{2})\) ，记 \(\mathbf{B = AV}\) ，因此上式变为 \[ \mathbf{B^{*}B} = \left( \begin{array}{c} \mathbf{\Lambda^{2}} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \\ \end{array} \right) \] 这表明 \(\mathbf{B}\) 的 \(n\) 个列互相正交，且前 \(r\) 个列向量长度分别为 \(\lambda_{1}, \cdots,\lambda_{r}\) ( \(\lambda_{i} > 0\) ) ，后 \(n - r\) 列均为 \(\mathbf{0}\) 向量。

于是，存在一个酉矩阵 \(\mathbf{U}\) ，可以将 \(\mathbf{B}\) 表示为 \[ \mathbf{B} = \mathbf{U} \left( \begin{array}{c} \mathbf{\Lambda} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \\ \end{array} \right) \] 于是我们得证 \(\mathbf{AV = U \Sigma }\) ，因此得证。

性质

根据证明过程，我们知道 \(\mathbf{V}\) 是 \(\mathbf{A^{*}A}\) 的特征向量组成的矩阵，\(\lambda_{1}^{2},\cdots, \lambda_{r}^{2}\) 为 \(\mathbf{A^{*}A}\) 的特征值。

同理，根据下式我们可得， \[ \mathbf{AA^{*} = U \Sigma V^{*} V \Sigma^{*} U^{*} = } \mathbf{U} \left( \begin{array}{c} \mathbf{\Lambda^{2}} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \\ \end{array} \right) \mathbf{U}^{*} \] 因为，我们知道 \(\mathbf{U}\) 的列是 \(\mathbf{AA^{*}}\) 的特征向量 ，\(\lambda_{1}^{2},\cdots, \lambda_{r}^{2}\) 为 \(\mathbf{AA^{*}}\) 的特征值。

\(\lambda_{1},\cdots, \lambda_{n}\) 称为 矩阵 \(\mathbf{A}\) 的奇异值，奇异值是唯一的，但是 \(\mathbf{U}\) 和 \(\mathbf{V}\) 不唯一。 矩阵 \(\mathbf{A}\) 的秩等于非零奇异值的数目，证明很简单，由于 \(\mathbf{U}\) 和 \(\mathbf{V}\) 均为满秩矩阵，因此 \(r \left( \mathbf{A} \right) = r \left( \mathbf{U \Sigma V^{*}} \right) = r \left( \mathbf{ \Sigma } \right)\) 。

当 矩阵 \(\mathbf{A}\) 的秩序为 \(r\) ，设 \(\mathbf{U}_{1} = (\mathbf{u_{1},\cdots,u_{r}})\) ， \(\mathbf{V}_{1} = (\mathbf{v_{1},\cdots,v_{r}})\) ，则 \(\mathbf{A = U_{1} \Sigma_{1} V^{*}_{1}}\) ，证明如下 $$ \[\begin{aligned} \mathbf{A} &= \left( \begin{array}{c} \mathbf{U}_{1} & \mathbf{U}_{2} \\ \end{array} \right) \left( \begin{array}{c} \mathbf{\Sigma_{1}} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \\ \end{array} \right) \left( \begin{array}{c} \mathbf{V_{1}^{*}} \\ \mathbf{V_{2}^{*}} \\ \end{array} \right) \\ &= \mathbf{U_{1} \Sigma_{1} V^{*}_{1}} \\ \end{aligned}\]

$$

极分解

设 \(\mathbf{A}\) 为 \(n \times n\) 的方阵，则存在 \(n \times n\) 的酉矩阵 \(\mathbf{U}\) 和 \(n \times n\) 的半正定矩阵 \(\mathbf{S}\) ，使得 \[ \mathbf{A = SU} \] 若 \(\mathbf{A}\) 可逆，则这种分解是唯一的。

证明：对 \(\mathbf{A}\) 进行奇异值分解得到 \(\mathbf{A} = \mathbf{ P \Sigma Q^{*}}\) ，稍做转换得到 $$ \[\begin{aligned} \mathbf{A} &= \mathbf{ P \Sigma P^{*} P Q^{*}} \\ \mathbf{A} &= \mathbf{ SU} \\ \end{aligned}\]

\[ 其中 \] $$

\[ \mathbf{U = PQ^{*}} \]

其中 \(\mathbf{U}\) 为酉矩阵，得证存在性。

下面我们证明 \(\mathbf{A}\) 可逆时极分解的唯一性，假设 \(\mathbf{A = S_{1}U_{1} = S_{2}U_{2}}\) ，其中 \(\mathbf{U_{1}}\) 和 \(\mathbf{U_{2}}\) 为酉矩阵， \(\mathbf{S}_{1}\) 和 \(\mathbf{S}_{2}\) 皆正定（因为 $r( ) = r( ) r( ) $ 。

并且我们有 \(\mathbf{AA^{*} = S^{2}_{1} = S^{2}_{2} }\) ，我们知道 \(\mathbf{S}_{1}\) 和 \(\mathbf{S}_{2}\) 均为半正定矩阵 \(\mathbf{AA^{*}}\) 的平方根矩阵，我们已知半正定矩阵的平方根矩阵是唯一的，因此 \(\mathbf{S_{1} = S_{2}}\) 。同时我们有 \[ \mathbf{U_{1} = S_{1}^{-1}A = S_{2}^{-1}A = U_{2}} \] 得证唯一性，证明完毕。

Schur 酉三角分解

设 \(\mathbf{A}\) 为复方矩阵，则存在酉矩阵 \(\mathbf{U}\) ，使得 \[ \mathbf{A = ULU^{*}} \] 其中 \(\mathbf{L}\) 为上 (或下) 三角矩阵，其对角元素为 \(\mathbf{A}\) 的特征值。

若 \(\mathbf{A}\) 为实方阵且特征值均是实数，则 \(\mathbf{U}\) 为正交矩阵。

证明：对 \(\mathbf{A}\) 的阶数采用数学归纳法证明，对 \(n=1\) ，命题显然成立（\(1=1\times1\times1\) ，其实 从 \(n=2\) 开始更好理解 ）。

现在假设命题对 \((n-1) \times (n-1)\) 的方阵成立，设 \(\mathbf{A}\) 为 \(n\) 阶方阵，其特征值为 \(\lambda_{1},\cdots, \lambda_{n}\) ，令 \(\mathbf{w}_{1}\) 为相对于 \(\lambda_{1}\) 的单位特征向量，我们可以得到一组包含 \(\mathbf{w}_{1}\) 的 \(\mathbf{C}^{n}\) 的一组基，利用格拉姆-施密特正交化过程，将这些向量转化为一组标准正交基，\(\mathbf{w}_{1},\cdots,\mathbf{w}_{n}\) ，定义酉矩阵 \(\mathbf{U}_{0} = (\mathbf{w}_{1},\cdots,\mathbf{w}_{n})\) ，则 \[ \mathbf{U_{0}^{*}AU_{0}} = \left( \begin{array}{c} \lambda_{1} & \mathbf{*} \\ \mathbf{0} & \mathbf{A_{1}} \\ \end{array} \right) \] 其中第一列为 \(\mathbf{U_{0}^{*}Aw_{1}} = \lambda_{1} \mathbf{U_{0}^{*}} \mathbf{w_{1}} = \lambda_{1} \mathbf{e}_{1}\) ，即第一列第一个元素为 \(\lambda_{1}\) ，其他元素为 0 。

其中 \(\mathbf{A}_{1}\) 为 \((n-1) \times (n-1)\) 的方阵，由于 \(\mathbf{A}\) 和 \(\left( \begin{array}{c} \lambda_{1} & \mathbf{*} \\ \mathbf{0} & \mathbf{A_{1}} \\ \end{array} \right)\) 相似，因此特征值相同，因此 \(\mathbf{A}_{1}\) 的特征值为 \(\lambda_{2},\cdots, \lambda_{n}\) 。由于我们假设命题对 \((n-1) \times (n-1)\) 的方阵成立，因此存在 \(n-1\) 阶的酉矩阵 \(\mathbf{U}_{1}\) ，使得 \[ \mathbf{A_{1} = U_{1}L_{1}U^{*}_{1}} \] 这里 \(\mathbf{L}_{1}\) 为上三角矩阵，其对角元素为 \(\mathbf{A}_{1}\) 的特征值 \(\lambda_{2},\cdots, \lambda_{n}\) ，令 $$ \[\begin{aligned} \mathbf{U} &= \mathbf{U_{0}} \left( \begin{array}{c} 1 & \mathbf{0} \\ \mathbf{0} & \mathbf{U_{1}} \\ \end{array} \right) \\ \mathbf{L} &= \left( \begin{array}{c} \lambda_{1} & \mathbf{*} \\ \mathbf{0} & \mathbf{L_{1}} \\ \end{array} \right) \end{aligned}\] \[ 我们有下式成立，因此 $\mathbf{U}$ 为酉矩阵 \] \[\begin{aligned} \mathbf{U}^{*} \mathbf{U} &=\left( \begin{array}{c} 1 & \mathbf{0} \\ \mathbf{0} & \mathbf{U_{1}}^{*} \\ \end{array} \right) \mathbf{U_{0}}^{*} \mathbf{U_{0}} \left( \begin{array}{c} 1 & \mathbf{0} \\ \mathbf{0} & \mathbf{U_{1}} \\ \end{array} \right) \\ &= \left( \begin{array}{c} 1 & \mathbf{0} \\ \mathbf{0} & \mathbf{U_{1}}^{*} \\ \end{array} \right) \left( \begin{array}{c} 1 & \mathbf{0} \\ \mathbf{0} & \mathbf{U_{1}} \\ \end{array} \right) \\ &= \mathbf{I} \end{aligned}\] \[ 同时我们有 \] \[\begin{aligned} \mathbf{ULU^{*}} &= \mathbf{U_{0}} \left( \begin{array}{c} 1 & \mathbf{0} \\ \mathbf{0} & \mathbf{U_{1}} \\ \end{array} \right) \left( \begin{array}{c} \lambda_{1} & \mathbf{*} \\ \mathbf{0} & \mathbf{L_{1}} \\ \end{array} \right) \left( \begin{array}{c} 1 & \mathbf{0} \\ \mathbf{0} & \mathbf{U_{1}}^{*} \\ \end{array} \right) \mathbf{U_{0}}^{*} \\ &= \mathbf{U_{0}} \left( \begin{array}{c} \lambda_{1} & \mathbf{*} \\ \mathbf{0} & \mathbf{U_{1}L_{1}U_{1}^{*}} \\ \end{array} \right) \mathbf{U_{0}}^{*} \\ &= \mathbf{U_{0}} \left( \begin{array}{c} \lambda_{1} & \mathbf{*} \\ \mathbf{0} & \mathbf{A_{1}} \\ \end{array} \right) \mathbf{U_{0}}^{*} \\ &= \mathbf{A} \end{aligned}\]

$$ 因此，我们证明了 \(\mathbf{L}\) 为上三角矩阵的情形。若对 \(\mathbf{A}^{*}\) 进行上面的分解，则有 \(\mathbf{A^{*} = ULU^{*}}\) ，此时则有 \(\mathbf{A = U^{*}L^{*} U}\) ，因此同样可以分解为下三角矩阵的情况。

最后看 \(\mathbf{A}\) 为实方阵且特征值均是实数的情况，此时它的特征向量都可以取为实向量。简单证明一下若 \(\mathbf{A}\) 为实方阵且特征值均是实数，则它的特征向量都可以取为实向量。第一种是 \((\mathbf{A} - \lambda \mathbf{I}) \mathbf{x} = \mathbf{0}\) ，此时特征向量就是在实矩阵的零空间中，因此显然其可以为实向量；第二种是假设特征值 \(\lambda\) 存在一个复特征向量 \(\mathbf{x}\) ，则 \(\mathbf{Ax} = \lambda \mathbf{x}\) ，共轭得到 \(\mathbf{\bar{A} \bar{x}} = \mathbf{A \bar{x}} = \bar{\lambda} \mathbf{\bar{x}}= \lambda \mathbf{\bar{x}}\) ，即 \(\lambda\) 和 \(\mathbf{\bar{x}}\) 也是一组特征值和特征向量，两个方程相加得到 \(\mathbf{A(x+\bar{x})} = \lambda \mathbf{(x+\bar{x})}\) ，因此我们一定可以找到一个实特折向量 \(\mathbf{x+\bar{x}}\) 。

然后我们同样采用上面的归纳法证明，只是此时 \(\mathbf{U}_{0}\) ， \(\mathbf{U}_{1}\) 需要替换为正交矩阵，证明略。

满秩分解

对于任意 \(m \times n\) 秩为 \(r\) 的矩阵 \(\mathbf{A}\) ，则存在 \(m \times r\) 和 \(r \times n\) 且秩皆为 \(r\) 的矩阵 \(\mathbf{B}\) 和 \(\mathbf{C}\) ，使得 \(\mathbf{A = BC}\) 。

证明：设 矩阵 \(\mathbf{A}\) 的相抵标准形如下，其中 \(\mathbf{P}\) 和 \(\mathbf{Q}\) 为 \(m \times m\) 和 \(n\times n\) 的可逆矩阵 \[ \mathbf{A} = \mathbf{P} \left( \begin{array}{c} \mathbf{I_{r}} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \\ \end{array} \right) \mathbf{Q} \] 对 \(\mathbf{P}\) 和 \(\mathbf{Q}\) 进行分块，得到 \[ \mathbf{P} = \left( \begin{array}{c} \mathbf{P_{1}} & \mathbf{P_{2}} \\ \end{array} \right), \mathbf{Q} = \left( \begin{array}{c} \mathbf{Q_{1}} \\ \mathbf{Q_{2}} \\ \end{array} \right) \] 其中 \(\mathbf{P_{1}}\) 和 \(\mathbf{Q}_{1}\) 分别为 \(m \times r\) 和 \(r\times n\) 的列 (行) 满秩矩阵，我们有 \[ \mathbf{A} = \left( \begin{array}{c} \mathbf{P_{1}} & \mathbf{P_{2}} \\ \end{array} \right) \left( \begin{array}{c} \mathbf{I_{r}} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \\ \end{array} \right) \left( \begin{array}{c} \mathbf{Q_{1}} \\ \mathbf{Q_{2}} \\ \end{array} \right) = \mathbf{P_{1}Q_{1}} \] 证明完毕。

QR 分解

对于任意 \(m \times n\) 秩为 \(n\) 的满列秩矩阵 \(\mathbf{A}\) ，则存在 \(m \times n\) 矩阵 \(\mathbf{Q}\) 和 \(n \times n\) 上三角矩阵 \(\mathbf{R}\) ，使得 \(\mathbf{A = QR}\) 。其中 \(\mathbf{Q^{*}Q = I_{n}}\) , \(\mathbf{R}\) 的对角元素为正数。如果 \(\mathbf{A}\) 为实矩阵，则 \(\mathbf{Q}\) 和 \(\mathbf{R}\) 也是实矩阵。

证明：对矩阵 \(\mathbf{A}\) 施加施密特正交化，便可以得到主要结论。

注: 如果矩阵 \(\mathbf{A}\) 不满秩，其秩为 \(r\) ，此时 \(\mathbf{A = QR}\) 仍然成立，且 \(\mathbf{Q^{*}Q = I_{n}}\) , 但此时 \(\mathbf{R}\) 的对角元素可以为零。

Cholesky 分解

设矩阵 \(\mathbf{A}\) 为 \(n \times n\) 的正定矩阵，则存在上三角矩阵 \(\mathbf{L}\) ，其对角线元素均为正数，使得 \(\mathbf{A = L^{*}L}\) 。

若 \(\mathbf{A}\) 为实矩阵，则 \(\mathbf{L}\) 的元素均为实数。

证明：因为 \(\mathbf{A} > 0\) ，故存在 \(\mathbf{B} > 0\) ，使得 \(\mathbf{A = B^{2} = B^{*}B}\) ，对 \(\mathbf{B}\) 作 QR 分解，有 \(\mathbf{B = QR}\) ,这里 \(\mathbf{Q}\) 为酉矩阵， \(\mathbf{R}\) 为上三角矩阵，其对角元素阶为正数。于是 \[ \mathbf{A = B^{*}B = R^{*}Q^{*}QR = R^{*}R} \] 得证。

更详细的内容可见 Cholesky 分解 。

谱分解

若 \(\mathbf{A}\) 为 \(n \times n\) 的 Hermite 矩阵，则存在一个酉矩阵对角化 \(\mathbf{A}\) ，即下式成立。其中 \(\mathbf{\Sigma}\) 为由 \(\mathbf{A}\) 矩阵特征值组成的对角矩阵，其元素均为实数；\(\mathbf{U}\) 矩阵的列均为 \(\mathbf{A}\) 矩阵 的特征向量。 \[ \mathbf{A = U\Sigma U^{*}} \] 当 \(\mathbf{A}\) 为实对称矩阵时，\(\mathbf{U}\) 矩阵为正交矩阵。

证明：根据 Schur 酉三角分解易得 \[ \mathbf{A = ULU^{*} = UL^{*}U^{*} = A^{*}} \] 即 \(\mathbf{ULU^{*} = UL^{*}U^{*}}\) ，左乘 \(\mathbf{U}^{*}\) ，右乘 \(\mathbf{U}\) 后得到 \[ \mathbf{L = L^{*}} \] 因此 \(\mathbf{L}\) 为对角矩阵，即 \(\mathbf{A = U\Sigma U^{*}}\) 。

下面证明 Hermite 矩阵的特征值均为实数，对 \(\mathbf{Au} = \lambda \mathbf{u}\) 进行共轭转置得到 \(\mathbf{u^{*}A^{*}} = \mathbf{u^{*}A} = \lambda^{*} \mathbf{u^{*}}\) ，右乘 \(\mathbf{u}\) 得到 $$ \[\begin{aligned} \mathbf{u^{*}Au} &= \lambda^{*} \mathbf{u^{*}u} \\ \lambda \mathbf{u^{*}u} &= \lambda^{*} \mathbf{u^{*}u} \\ (\lambda - \lambda^{*}) \mathbf{u^{*}u} &= 0 \quad \because \mathbf{u^{*}u} \text{ 为大于0的实数} \\ \lambda & = \lambda^{*} \end{aligned}\]

$$ 得证 Hermite 矩阵的特征值均为实数。

当 \(\mathbf{A}\) 为实对称矩阵时，同样根据 Schur 酉三角分解，易得此时 \(\mathbf{U}\) 矩阵为正交矩阵。

正规矩阵

若 \(n \times n\) 的方阵 \(\mathbf{A}\) 满足 \(\mathbf{AA^{*} = A^{*}A}\) ，则称为正规矩阵 (normal matrix) 。

定理：一个方阵 \(\mathbf{A}\) 是正规矩阵，当且仅当方阵 \(\mathbf{A}\) 可以找到一组彼此正交的特征向量集。

首先证明充分性，假设 \(\mathbf{A}\) 可以找到一组彼此正交的特征向量集， 那么其可以对角化为 \(\mathbf{A = U\Sigma U^{*}}\) ，注意其特征值不一定均为实数，即 \(\mathbf{\Sigma}\) 是一个复矩阵。此时我们有 \[ \begin{aligned} & \mathbf{AA^{*}= U\Sigma U^{*} U\Sigma^{*} U^{*} = U\Sigma \Sigma^{*} U^{*}} \\ & \mathbf{A^{*}A= U\Sigma^{*} U^{*} U\Sigma U^{*} = U\Sigma^{*} \Sigma U^{*}} \\ \end{aligned} \] 容易证明 \(\mathbf{\Sigma \Sigma^{*} = \Sigma^{*} \Sigma}\) ，其对角线元素为 \(\Sigma_{ii}\Sigma_{ii}^{*}\) ，非对角线元素均为 0 。

因此 \(\mathbf{AA^{*} = A^{*}A}\) ，得证。

再证明必要性，根据 Schur 酉三角分解，有 \(\mathbf{A = ULU^{*}}\) ，\(\mathbf{L}\) 为上三角矩阵。因为 \(\mathbf{AA^{*} = A^{*}A}\) ，我们可以证明 \(\mathbf{L}\) 也是正规矩阵，即 \(\mathbf{LL^{*} = L^{*}L}\) ，如下 \[ \begin{aligned} &\mathbf{LL^{*} = U^{*}AU U^{*}A^{*}U = U^{*}AA^{*}U} \\ &\mathbf{L^{*}L = U^{*}A^{*}U U^{*}AU = U^{*}A^{*}AU} \\ \end{aligned} \] 得证 \(\mathbf{LL^{*} = L^{*}L}\) ，比较 \(\mathbf{LL^{*}}\) 和 \(\mathbf{L^{*}L}\) 对角线元素得到 $$ \[\begin{aligned} |l_{11}|^{2} + |l_{12}|^{2} + |l_{13}|^{2} + \cdots + |l_{1n}|^{2} &= |l_{11}|^{2} \\ |l_{22}|^{2} + |l_{23}|^{2} + \cdots + |l_{2n}|^{2} &= |l_{12}|^{2} + |l_{22}|^{2} \\ &\vdots \\ |l_{nn}|^{2} &= |l_{1n}|^{2} + |l_{2n}|^{2} + |l_{3n}|^{2} + \cdots + |l_{nn}|^{2} \end{aligned}\]

$$ 根据第一个方程我们得到 \(l_{1i} = 0, i \neq 1\) ，其余方程同理，我们得到结论 \(\mathbf{L}\) 矩阵非对角线元素均为0，即 \(\mathbf{L}\) 为对角矩阵，因此我们有 \(\mathbf{A = U\Sigma U^{*}}\) ，得证 \(\mathbf{A}\) 可以找到一组彼此正交的特征向量集。

参考文献

1. Rencher A C, Schaalje G B. Linear models in statistics[M]. John Wiley & Sons, 2008.

2. 王松桂, 杨振海. 广义逆矩阵及其应用[M]. 北京工业大学出版社, 1996.

3. Leon S J, Bica I, Hohn T. Linear algebra with applications[M]. Upper Saddle River, NJ: Pearson Prentice Hall, 2006.

4. Cholesky 分解