在学习吴恩达老师的机器学习课上，碰到了一个旧知识点：在统计上，样本方差的分母应该是 n-1 ，这样才是对总体方差的无偏估计。在网上查了很多资料，根据自己的理解总结了一下，水平有限，如有不当之处敬请指正。

问题

首先我们要理清楚问题是什么，假设我们拿到了一组数据，样本数为 n，我们认为这些数据服从独立同分布的正态分布，我们想知道它们服从的正态分布的均值和方差是多少，或者说想估计它们服从的正态分布的均值和方差。

最大似然估计

这种从已有数据推断参数的事情，第一时间我想的就是最大似然估计。首先，一维正态分布的概率密度函数长这样：

由于不同的样本服从独立同分布，因此所有样本的联合概率密度函数如下：

因此，我们要求出现这组数据或更极端数据出现的似然值最大，也就是求使上式的联合概率密度函数最大的一组参数。我们对联合概率密度函数采用对数函数，可以简化运算：

为了方便查看，这里我们将 σ² 替换为 v 。

这里要求该式的极值，想到了对该式求偏导，计算两个偏导等于 0 时的参数值。首先对参数 μ 求偏导。

求该式为 0 ，得到参数 μ 的最大似然值如下，就是样本均值（下标 ML 表示最大似然估计值，下图）

再对参数 v (即σ²) 求偏导

求该式为 0 ，得到参数 v (即σ²) 的最大似然值如下。

易证，最大似然估计的两个参数值均为无偏估计，证明如下：

因此，最大似然估计的方差是无偏的，没有问题。但是注意，这里得到的方差估计值的公式中含有总体均值 μ。看我们的问题，我们并不知道总体均值，我们上面得到了总体均值的最大似然估计值就是样本均值，我们能不能直接将总体均值替换为样本均值呢？就是下式：

这里我们可以证明这样做得到的估计量会低于极大似然估计值，是一个有偏估计量。

证明分母为n的样本方差会低于极大似然估计值

我们这里构建一个函数 f(a)

求导得到

当导数为 0 时，a 等于

易知，当 a 等于样本均值时，该式最小。因此，下式成立

证明分母为n的样本方差会低估总体方差估计值。

第二种证明方法

样本方差推导

具体小多少，可以通过求期望计算一下^[1]

其中, 证明如下。首先方差存在下面的性质

If are independent and are constants, then

所以，我们得到

所以，

因此，为了避免使用有偏差的估计值，略加转换，我们得到下式：

第二种证明方法

我感觉像上面一样，直接从 去推公式，结果更直观一点。首先我们需要拆分一下 。

同时对左右两侧求期望，得到：

左侧 期望为总体方差 （ ） ，因此

所以