当数据量很大时，对混合模型方程组的系数矩阵直接求逆困难或不可实现，需要采用迭代求解的方法。

迭代求解的基本方法

雅可比迭代法

设有线性方程组

其中， 是 的系数矩阵； 为待求解的 维向量； 为右手项的 维向量。

如果见矩阵 分解为

其中， 为一可逆矩阵，将其代入上式，则有

或写成

其中，， 。

那么我们可以构建出迭代方法

如果在 时 , ，我们称迭代收敛，且 就是该方程组的解。

例如，对于 时，设 ，其对角线元素均不为0，即 ，则我们可取 和 为

那么我们可以得到

因此，我们有方程组

即

因此，我们得到了一个迭代公式

将上面的情形推广至一般情况，即可以将 改写为

由此可得如下的一般迭代式

或者写成

写成矩阵的形式，我们有

或者

其中 ，是由 中的对角线元素构成的对角线矩阵。

这个迭代法称为 雅可比 (Jacobi) 迭代法。在计算时一般按 , 的顺序进行。注意在计算 时, 在它前面的 已经计算出 来了, 而雅可比法并不利用这些最新的迭代值, 仍用 。

写成伪代码的格式为

另一种理解

假设系数矩阵的对角线元素均不为0 （如果存在某些行的对角线元素为 0 ，可以与邻近的行进行交换位置），那么雅可比迭代法其实就是用第一个方程计算 ，用第二个方程计算 ，依次类推。以上面的 的例子为例，我们将方程组写成标量形式，即：

用第一个方程计算 ，用第二个方程计算 ，用第三个方程计算 ，得到下式

我们同样得到雅可比的迭代公式，这种方式更好理解一点。

GS迭代法

如果我们对这一点进行修改, 即在每个 的计算中尽量利用最新的迭代值, 于是有

或者

这种迭代方法称为 高斯-塞德尔 (Gauss-Seidel, GS) 迭代法。此时编程更加容易，因为新解可以直接覆盖旧的解。伪代码如下

上式可以改写为

我们看如何将其写成矩阵的形式，首先我们矩阵 分解为如下形式

其中 ，是由 中的对角线元素构成的对角线矩阵。 均为严格三角矩阵: 为严格下 三角矩阵，即对角线以下的元素； 为严格上三角矩阵，即对角线以上的元素。

于是我们有

与雅可比迭代的式子比较发现，这里是用 替代了雅可比迭代式子中的 ，由于 比 更接近 , 因此 GS 迭代法的收敛速度一般更快。

但要注意的是，这两种方法并不是在任何情况下都能收敛的。对于 GS 迭代法，它能够收敛的一个充分条件是方程组的系数矩阵为正定矩阵或半正定矩阵，由于混合线性方程组的系数矩阵一般来说都是正定矩阵，所以基本上可以不用担心它们的收敛问题。对于雅可比迭代法，一般来说，对于系数矩阵为对角优势矩阵（即在每一行中，均有对角线元素的值大于所有非对角线元素的值）的方程组，它是可以收敛的。但是混合模型方程组中的系数矩阵往往不是对角优势矩阵，因此不能保证它收敛，因此只有在对数据文件迭代 (iteration on data) 中才可能用到雅可比迭代。

SOR 迭代法

GS 迭代法有时收敛速度较慢，此时可考虑逐次超松弛迭代法 (successive over-relaxation, SOR) ，其迭代公式为

其中， 是松弛因子，适当选取 可加快收敛速度，通常取 （那么如何选择一个合适的 就成了一个新的问题）。当 时，SOR 迭代法就变成 GS 迭代法。 SOR 方法的伪代码如下

PCG

在复杂问题中，预处理共轭梯度法 (Preconditioned conjugate gradient, PCG) 比前面三种方法收敛速度都要快，其理论可见 Meurant (1999) 。

PCG 和二阶雅可比算法有一些相似，二阶雅可比算法如下 (在动物模型，合适的参数是 ， 。)

PCG 算法采用相似的公式，只是 和 在每一轮迭代中需要重新计算，并且这里的 改为了 矩阵，称为预处理矩阵。 矩阵可能等于 或者容易求逆的 矩阵的任意一种近似矩阵。

PCG 迭代的完整的伪代码如下 (这里原方程组设为 )

尽管看上去比较复杂，但是 PCG 方法很容易应用，因为这里唯一的复杂计算就是 和 。

迭代的收敛性

“真实的”收敛标准为下式，其中 为精确解。

但是由于实际上我们不知道 ，因此在迭代过程中，我们常用下面的两个收敛标准：

第一种方式，根据两次迭代解的差距，公式如下。也就是说，如果两次迭代的解相差很小，则认为收敛。

第二种方式，根据左手项和右手项的差距，公式如下

其中 ， 是预先给定的允许误差，通常是一个很小的数值。在每次迭代结束时，都检查上式是否成立，如果成立，就意味着本次迭代与上次迭代所得到的解已非常接近，可以认为迭代收敛，从而结束迭代，将当前迭代的解作为方程组的解。

混合模型方程组的迭代求解

直接迭代求解

直接迭代求解是先计算出方程组系数矩阵和右手项的各个元素，然后用前面所介绍的方法进行迭代求解，这种解法也称为对方程组迭代 (iteration on equations) 。一般来说，当数据可以读入内存中时，我们会用 GS 或 SOR 迭代法。但是，PCG 方法现在越来越流行，比如将预处理矩阵设为对角矩阵的 PCG 方法可以对所有的模型均收敛，包括复杂性状，随机回归模型，母性效应模型等；PCG 方法的收敛速度一般也优于前几种方法；PCG 方法还不需要确定任何参数。PCG 方法的一个劣势是它需要更多的内存。

间接迭代解法

用直接迭代求解并将方程组存储在硬盘上的缺陷在于从硬盘读取数据的次数太多，计算速度减慢，同时编程也较复杂。针对这种缺陷，Schaeffer 和 Kennedy (1986a, 1986b) 及 Misztal 和 Gianola (1987) 等分别提出了混合模型方程组的间接迭代解法，用这种方法不需要建立方程组，而是在每次迭代中读入观测值书数据文件和系谱数据文件，并同时计算方程组的解，故这种方法又称为对数据文件迭代 (iteration on data) 。因为在多数情况下混合模型方程组的大小要比数据文件的大小要大，这种方法所需的读取次数少于直接迭代方法，因而计算速度要快一点，这种方法的另一个优点是它的编程非常简单。