1、多元线性回归模型及其矩阵表示
设Y是一个可观测的随机变量，它受到p-1个非随机因素 X1、X2、X3···X(p-1)和随机因素ε的影响。若Y与 X1、X2、X3···X(p-1)有如下线性关系：
其中，β为未知参数，ε是均值为0、方差为σ2>0的不可观测随机变量，称为误差项，并通常假定 ε∽N(0,σ2)。该模型称为，称Y为因变量，X为自变量。
要建立多元线性回归模型，我们首先要估计未知参数β，为此我们要进行n(n>=p)次独立观测，得到n组数据（称为样本）。它们应满足上面代码块里那个式子。
就有了下面这张图：
其中ε相互独立且均服从N(0,σ2)分布。
令：则有了以下的矩阵形式：
Y=Xβ ε；
其中Y称为观测向量，X称为设计矩阵，它们是由观测数据得到的，是已知的，并假定X是列满秩的。β是待估计的未知参数向量，ε是不可观测的随机误差向量。
上式称为多元统计回归模型的。
2、β和σ2的估计
经过一番计算，得出β的最小二乘估计:
β的最大似然估计和它的最小二乘估计一样。
误差方差σ2的估计：
为它的一个无偏估计。
3、有关的统计推断
3.1 回归关系的统计推断给定因变量Y与自变量X的n组观测值，利用前面的方法可以得到未知参数β和σ2的估计，从而得出线性回归方程，但所求的方程是否有意义，也就是说XY之间是否存在显著的线性关系，还需要对回归方程进行检验。
检验方法：建立方差分析表；线性回归关系的显著性检验；P值检验
3.1.1 建立方差分析表（1）离差平方和的分解数据的总离差平方和：（反映了Y的波动大小）
残差平方和：（SSE越大，观测值与线性拟合值之间的偏差就越大）回归平方和：（反映了线性拟合值与它们的平均值的总偏差）
经过计算，可得出：SST=SSE SSR因此，SSR越大，说明线性回归关系所描述的Y波动性比例就越大，即Y与X的线性关系就越显著。
3.1.2 方差分析表3.2 线性回归关系的显著性检验检验假设：
若H0成立，则XY之间不存在线性回归关系。
构建如下检验统计量：在给定显著性水平α，查F分布表得临界值Fσ(p-1,n-p)，（即F分布的上侧σ分位数）。
计算F的观测值F0,若F0<=Fσ时，则接受H0.
3.3 p值检验对于线性回归关系显著性检验问题，p=P(H0).P(H0)表示在H0为真时的概率。
若p=α,接受H0.