(統計)迴歸分析矩陣

模型:

$\vec{Y}= \mathbf{X} \vec{\beta}+\vec{\varepsilon }$  ，$\vec{Y}=\pmatrix{y_1\\ \vdots \\y_n}$
$\vec{\varepsilon }\sim N(\mathbf{0},\mathbf{I}_n\sigma^2)$

正規方程式

$\mathbf{X}^\mathsf{T}  \mathbf{X}=\mathbf{X}^\mathsf{T} \vec{Y}$

$\mathbf{X}^\mathsf{T} \mathbf{X}=\pmatrix{n &\sum X_i\\\sum X_i &\sum X_i^2}$

$\mathbf{X}^\mathsf{T} \vec{Y}=\pmatrix{\sum Y_i\\ \sum X_iY_i}$

OLS

$\hat{\vec{\beta}}=(\mathbf{X}^\mathsf{T}\mathbf{X})^{-1}\mathbf{X}^\mathsf{T}\vec{Y}$

配適度

$SST=\vec{Y}^\mathsf{T}\vec{Y}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}$

$SSR=\hat{\vec{Y}}^\mathsf{T}\hat{\vec{Y}}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}=(\mathbf{X}\hat{\vec{\beta}})^\mathsf{T}\mathbf{X}\hat{\vec{\beta}}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}=\hat{\vec{\beta}}^\mathsf{T}\mathbf{X}^\mathsf{T}\mathbf{X}\hat{\vec{\beta}}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}=\hat{\vec{\beta}}^\mathsf{T}\mathbf{X}^\mathsf{T}\hat{\vec{Y}}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}$

$\mathsf{J}=\pmatrix{1&\cdots&1\\\vdots&\ddots&\vdots\\1&\cdots&1}_{n\times n}$

$SSE=\vec{Y}^\mathsf{T}\vec{Y}-\hat{\vec{Y}}^\mathsf{T}\hat{\vec{Y}}=\vec{Y}^\mathsf{T}\vec{Y}-\hat{\vec{\beta}}^\mathsf{T}\mathbf{X}^\mathsf{T}\mathbf{X}\hat{\vec{\beta}}$