定理1 若为的最小二乘估计量,则
(1)分别是的无偏估计;
(2) (*)
证 (1)由一元线性回归模型可知,
因为相互独立,从而.
,
所以分别是的无偏估计.
(2)由于都是正态随机变量的线性函数,因此服从正态分布. 下面计算它们的方差,因为
且,
故 ,
注:(*)式表明,回归系数的波动大小不仅与误差的方差有关,而且还取决于观察数据中普通变量的波动程度,如果值取的比较分散,则波动较小,即估计比较精确,反之不然. 而回归常数项的方差不仅与误差的方差和波动大小有关,而且还与观察数据的个数有关,故在线性模型下,为使回归精确,实际安排实验时,应尽量安排多的试验和尽量将的值取得分散.
最小二乘估计既是无偏的,又是均方误差最小的,并且估计还是正态分布的,这些都很好的体现了其优良性。
设,,,是取自总体的一组样本,而,,,是该样本的观察值,设回归方程为,则 , ,
其中
,.