这是方差组分估计方法的第五篇博客，也是最后一篇，介绍 AI-REML 算法。

AI-REML

首先我们看 Newton-Raphson 算法，其迭代公式为：

其中 是需要最大化的原函数； 是 函数关于参数 的一阶偏导数向量； 是 函数关于参数 的二阶偏导数矩阵，即 Hessian 矩阵，举例如下

由于计算 矩阵的计算量较大，scoring 方法采用以下迭代公式，即采用 矩阵替换 矩阵。 矩阵是 矩阵的数学期望，即 ； 矩阵则称为 Fisher 信息矩阵

所谓平均信息算法，就是将期望信息 () 和观察信息 () 平均起来，得到一个平均信息矩阵

此时相应的迭代公式为

在前面的推导中，我们已知 REML 方法的似然函数为

之前我们推导证明：

举个例子，假设模型中随机效应只有加性效应（ ）和残差 ()，此时 矩阵为

其中 。

同样地，我们之前推导得到：

采用上面的例子，此时 矩阵为

此时平均信息矩阵为

采用上面的例子，此时 矩阵为

此时在 AI 算法中，不涉及迹函数的运算，计算难度相对低一点。

如果我们设 ，定义 ，则我们可以得到

对于某一个随机效应的方差组分 ，我们有 ，则有

对于残差的方差组分 ，我们有 ，则有

对于中间的 矩阵，我们采用公式 进行计算。

我们也可以通过高斯消元得到 矩阵，首先我们构建增广矩阵如下 (用 代替 )

将 吸收进入 得到

第二种计算方法

我们现在逐个计算 矩阵的元素 ，这里我们先忽略 1/2 这个常数项，推导如下

这里我们设 。

这里的第一项容易计算，第二项我们将 替换 构建混合模型方程组 ，此时 是右手项， 是相应的解。

参考文献

1. Knight E. Improved iterative schemes for REML estimation of variance parameters in linear mixed models[D]. , 2008.

2. Gilmour A R, Thompson R, Cullis B R. Average information REML: an efficient algorithm for variance parameter estimation in linear mixed models[J]. Biometrics, 1995: 1440-1450.

3. Smith S P, Graser H U. Estimating variance components in a class of mixed models by restricted maximum likelihood[J]. Journal of Dairy Science, 1986, 69(4): 1156-1165.