与一元线性回归类似,我们采用最小二乘法估计参数
,
引入偏差平方和
最小二乘估计就是求,使得
因为是的非负二次型,故其最小值一定存在. 根据多元微积分的极值原理,令
上述方程组称为正规方程组,可用矩阵表示为
在系数矩阵满秩的条件下,可解得
就是的最小二乘估计,即为回归方程
的回归系数.