残差

若记删除第i个样本数据后，由余下的n-1个样本数据求得的回归系数为

在回归分析中，测定值与按回归方程预测的值之差，以δ表示。残差δ遵从正态分布N(0，σ2)。（δ-残差的均值）/残差的标准差，称为标准化残差，以δ*表示。δ*遵从标准正态分布N(0，1)。实验点的标准化残差落在(-2，2)区间以外的概率≤0.05。若某一实验点的标准化残差落在(-2，2)区间以外，可在95%置信度将其判为异常实验点，不参与回归直线拟合。

显然，有多少对数据，就有多少个残差。残差分析就是通过残差所提供的信息，分析出数据的可靠性、周期性或其它干扰。

设线性回归模型为

回归系数的估计值

这解释了帽子矩阵与残差的关系，因为残差可以通过帽子矩阵与真实值得出。

由差向量ε的的性质，得到

用

为了更深入地研究某一自变量与因变量的关系，人们还引进了偏残差。此外， 还有学生化残差、预测残差等。以某种残差为纵坐标，其它变量为横坐标作散点图，即残差图 ，它是残差分析的重要方法之一。通常横坐标的选择有三种：

(1) 因变量的拟合值；

(2)自变量；

(3)当因变量的观测值为一时间序列时，横坐标可取观测时间或观测序号。

残差图的分布趋势可以帮助判明所拟合的线性模型是否满足有关假设。如残差是否近似正态分布、是否方差齐次，变量间是否有其它非线性关系及是否还有重要自变量未进入模型等。.当判明有某种假设条件欠缺时， 进一步的问题就是加以校正或补救。需分析具体情况，探索合适的校正方案，如非线性处理，引入新自变量，或考察误差是否有自相关性。

下面是一个简单的双线性模型的建模过程 。

设要建立的双线性模型为:

设参数的初始估值为

仿真建模实例

设双线性差分方程为:

均值：-0.317177 偏态：-0.347777 方差：1.543746 峰态：1. 005134

为了明确解释变量和随机误差各产生的效应是多少，统计学上把数据点与它在回归直线上相应位置的差异称为残差，把每个残差平方之后加起来 称为残差平方和，它表示随机误差的效应。一组数据的残差平方和越小,其拟合程度越好。

标准化残差遵从标准正态分布卜i)}实验点的标准化残差落在(一z，"para" label-module="para">