第一次看到余弦定理的证明过程，记录一下。

内积定义

本文中，一般字母表示向量，希腊字母表示标量。

内积是一个实数函数，其将两个向量映射为一个标量，记为 \(<x,y>\) ，内积满足下面的定理：对于同一向量空间的任意三个向量 \(x,y,x\) ，及任意一个标量 \(\alpha\) ，存在 \[ \begin{aligned} &\langle x, x\rangle \geq 0 \\ &\langle x, x\rangle=0 \text { if and only if } x=0 \\ &\langle x+y, z\rangle=\langle x, z\rangle+\langle y, z\rangle \\ &\langle\alpha x, y\rangle=\alpha\langle x, y\rangle \\ &\langle x, y\rangle=\langle y, x\rangle \end{aligned} \] 标准向量内积 (standard inner product) 定义如下： \[ \langle x, y\rangle=x^{\top} y=\sum_{k=1}^{n} x_{k} y_{k} . \] 标准向量内积和欧几里得范数存在以下关系： \[ \sqrt{\langle x, x\rangle}=\|x\|_{2} \] # 余弦定理

下面我们采用勾股定理来证明余弦定理，假设向量 \(x\) 和 \(y\) 的夹角为 \(\theta\) ，设 \(z=x-y\) ，如下图，我们做一条中垂线。

根据勾股定理，我们有 \[ \begin{aligned} \|z\|_{2}^{2} &=\left(\|y\|_{2} \sin \theta\right)^{2}+\left(\|x\|_{2}-\|y\|_{2} \cos \theta\right)^{2} \\ &=\|x\|_{2}^{2}+\|y\|_{2}^{2}-2\|x\|_{2}\|y\|_{2} \cos \theta \end{aligned} \] 同时，我们有 \[ \|z\|_{2}^{2}=\|x-y\|_{2}^{2}=(x-y)^{\top}(x-y)=x^{\top} x+y^{\top} y-2 x^{\top} y \] 比较二式，我们得到 \[ x^{\top} y=\|x\|_{2}\|y\|_{2} \cos \theta \] 或者写成 \[ \cos \theta=\frac{x^{\top} y}{\|x\|_{2}\|y\|_{2}} \] 因此我们有 Cauchy–Schwartz 不等式，即： \[ \left|x^{\top} y\right| \leq\|x\|_{2} \mid y \|_{2} \]

两个向量正交

如果两个向量之间的角度为直角，此时我们称两个向量正交。

根据上面的公式 \(x^{\top} y=\|x\|_{2}\|y\|_{2} \cos \theta\) ，我们知道两个向量正交，等价于其内积为零，即 \(x^{\top} y= 0\) 。

两个子空间正交

设 \(X\) 和 \(Y\) 是 \(\mathbf{R}^{n}\) 的两个子空间，如果对每一 \(\mathbf{x} \in X\) 和 \(\mathbf{y} \in Y\) 均有 \(\mathbf{x^{\top}y = 0}\) ，则称 \(X\) 和 \(Y\) 是正交的，记作 \(X \perp Y\) 。

举个例子，矩阵 \(\mathbf{A}\) 的行空间与其零空间正交。证明如下，根据零空间定义，我们有 \(\mathbf{Ax = 0}\) ，根据矩阵乘法，我们得到 矩阵 \(\mathbf{A}\) 的每一行与 \(\mathbf{x}\) 的内积均为 0，即矩阵 \(\mathbf{A}\) 的每一行均与 \(\mathbf{x}\) 正交。由于矩阵 \(\mathbf{A}\) 的行空间是矩阵 \(\mathbf{A}\) 的所有行的线性组合，因此易得矩阵 \(\mathbf{A}\) 的行空间与其零空间正交。

性质：对于两个正交的子空间 \(X\) 和 \(Y\) ，其交集为 \(\{\mathbf{0}\}\) 。

证明：对于 \(X\) 和 \(Y\) 的交集的元素，设 \(x \in X \cap Y\) ，则必须满足其自身与自身正交，即 \(\mathbf{x^{\top}x = 0}\) ，因此 \(\mathbf{x = 0}\) 。

正交补

令 \(Y\) 是 \(\mathbf{R}^{n}\) 的子空间， \(\mathbf{R}^{n}\) 中所有与 \(Y\) 中每一向量正交的向量集合称为 \(Y\) 的正交补，记为 \(Y^{\perp}\) ，即 \[ Y^{\perp} = \{ x \in \mathbf{R}^{n} | \mathbf{x^{T}y} = 0 , \text{ for every } \mathbf{y} \in Y\} \] 而且 \(Y^{\perp}\) 也是一个子空间，根据加法和标量乘法原则证明如下：

设 \(\mathbf{x} \in Y^{\perp}\), 且 \(\alpha\) 为一个标量, 则对任意 \(\mathbf{y} \in Y\), \[ (\alpha \boldsymbol{x})^{\mathrm{T}} \boldsymbol{y}=\alpha\left(\boldsymbol{x}^{\mathrm{T}} \boldsymbol{y}\right)=\alpha \cdot 0=0 \] 因此 \(\alpha \mathbf{x} \in Y^{\perp}\)。

若 \(\mathbf{x}_{1}\) 和 \(\mathbf{x}_{2}\) 为 \(Y^{\perp}\) 的元素, 则对每一个 \(\mathbf{y} \in Y\), 有 \[ \left(\boldsymbol{x}_{1}+\boldsymbol{x}_{2}\right)^{\mathrm{T}} \boldsymbol{y}=\boldsymbol{x}_{1}^{\mathrm{T}} \boldsymbol{y}+\boldsymbol{x}_{2}^{\mathrm{T}} \boldsymbol{y}=0+0=0 \] 因此 \(\boldsymbol{x}_{1}+\boldsymbol{x}_{2} \in Y^{\perp}\) 。

于是得证 \(Y^{\perp}\) 也是 \(\mathbf{R}^{n}\) 的子空间。

我们可以进一步证明，矩阵 \(\mathbf{A}\) 的行空间与其零空间互为正交补。

参考文献

1. Calafiore G C, El Ghaoui L. Optimization models[M]. Cambridge university press, 2014.
2. Leon S J, Bica I, Hohn T. Linear algebra with applications[M]. Upper Saddle River, NJ: Pearson Prentice Hall, 2006.