迴歸分析矩陣

 

複迴歸分析

 

(統計)迴歸分析矩陣

模型:

$\vec{Y}= \mathbf{X} \vec{\beta}+\vec{\varepsilon }$  ，$\vec{Y}=\pmatrix{y_1\\ \vdots \\y_n}$
$\vec{\varepsilon }\sim N(\mathbf{0},\mathbf{I}_n\sigma^2)$

正規方程式

$\mathbf{X}^\mathsf{T}  \mathbf{X}=\mathbf{X}^\mathsf{T} \vec{Y}$

$\mathbf{X}^\mathsf{T} \mathbf{X}=\pmatrix{n &\sum X_i\\\sum X_i &\sum X_i^2}$

$\mathbf{X}^\mathsf{T} \vec{Y}=\pmatrix{\sum Y_i\\ \sum X_iY_i}$

OLS

$\hat{\vec{\beta}}=(\mathbf{X}^\mathsf{T}\mathbf{X})^{-1}\mathbf{X}^\mathsf{T}\vec{Y}$

配適度

$SST=\vec{Y}^\mathsf{T}\vec{Y}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}$

$SSR=\hat{\vec{Y}}^\mathsf{T}\hat{\vec{Y}}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}=(\mathbf{X}\hat{\vec{\beta}})^\mathsf{T}\mathbf{X}\hat{\vec{\beta}}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}=\hat{\vec{\beta}}^\mathsf{T}\mathbf{X}^\mathsf{T}\mathbf{X}\hat{\vec{\beta}}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}=\hat{\vec{\beta}}^\mathsf{T}\mathbf{X}^\mathsf{T}\hat{\vec{Y}}-\cfrac{1}{n}\vec{Y}^\mathsf{T}\mathbf{J}\vec{Y}$

$\mathsf{J}=\pmatrix{1&\cdots&1\\\vdots&\ddots&\vdots\\1&\cdots&1}_{n\times n}$

$SSE=\vec{Y}^\mathsf{T}\vec{Y}-\hat{\vec{Y}}^\mathsf{T}\hat{\vec{Y}}=\vec{Y}^\mathsf{T}\vec{Y}-\hat{\vec{\beta}}^\mathsf{T}\mathbf{X}^\mathsf{T}\mathbf{X}\hat{\vec{\beta}}$

(迴歸)複迴歸分析

模型:$Y_i=\beta_0+\beta_1X_{1i}+\beta_2X_{2i}+\varepsilon_i$

假設:$\varepsilon_i\stackrel{iid}{\sim}N(0,\sigma^2)$

母體迴歸線:$E(Y_i)=\beta_0+\beta_1X_{1i}+\beta_2X_{2i}$

樣本迴歸線:$\hat{Y}=\hat{\beta_0}+\hat{\beta_1}X_{1}+\hat{\beta_2}X_{2}$

正規方程式

$\left\{\begin{array}{}n\hat{\beta_0}&+\sum{}X_{1i} \hat{\beta_1}&+\sum{}X_{2i} \hat{\beta_2}&=\sum{}Y_i \\ \sum{}X_{1i}\hat{\beta_0}&+\sum{}X_{1i}^2\hat{\beta_1}&+\sum{}X_{1i}X_{2i}\hat{\beta_2}&=\sum{}X_{1i}Y_i\\ \sum{}X_{2i}\hat{\beta_0}&+\sum{}X_{1i}X_{2i}\hat{\beta_1}&+\sum{}X_{2i}^2\hat{\beta_2}&=\sum{}X_{2i}Y_i
\end{array}
\right.$

正規方程式之解

$\left\{\begin{array}{}
\hat{\beta_1}&=\cfrac{SS_{1Y}SS_2-SS_{2Y}SS_{12}}{SS_1SS_2-SS^2_{12}}\\ \hat{\beta_2}&=\cfrac{SS_{2Y}SS_1-SS_{1Y}SS_{12}}{SS_1SS_2-SS^2_{12}} \\ \hat{\beta_0}&=\overline{Y}-\hat{\beta_1}\overline{X_1}-\hat{\beta_2}\overline{X_2}
\end{array}
\right.$

分子分母皆$SS_1SS_2-SS_{12}SS_{21}$ ，$\hat{\beta_1}$時分子$Y$替換$SS_1$為$SS_{1Y}$，替換$SS_{12}$為$SS_{Y2}=SS_{2Y}$。

同理，$\hat{\beta_2}$時分子$Y$替換$SS_2$為$SS_{2Y}$，替換$SS_{21}$為$SS_{Y1}=SS_{1Y}$。

$SS_{12}=SS_{X_1X_2}=\sum X_{1i}X_{2i}-\cfrac{(\sum X_{1i})(\sum X_{2i})}{n}$

$SS_{1Y}=SS_{X_1Y}=\sum X_{1i}Y_i-\cfrac{(\sum X_{1i})(\sum Y_i)}{n}$

$SS_{2Y}=SS_{X_2Y}=\sum X_{2i}Y_i-\cfrac{(\sum X_{2i})(\sum Y_i)}{n}$

$SS_1=\sum X_{1i}^2-\cfrac{(\sum X_{1i})^2}{n}$

$SS_2=\sum X_{2i}^2-\cfrac{(\sum X_{2i})^2}{n}$

$SS_Y=\sum Y_{i}^2-\cfrac{(\sum Y_{i})^2}{n}$

抽樣分配

$\hat{\beta_1}\sim N(\beta_1,\cfrac{SS_2}{SS_1SS_2-SS^2_{12}}\sigma^2)$

$\hat{\beta_2}\sim N(\beta_2,\cfrac{SS_1}{SS_1SS_2-SS^2_{12}}\sigma^2)$

偏相關係數

圖解

$SSR(X_1|X_2)=SSR(X_1,X_2)-SSR(X_2)=SSE(X_2)-SSE(X_1,X_2)$

$r_{Y1\cdot2}^2=\cfrac{SSR(X_1|X_2)}{SSE(X_2)}=\cfrac{SSR(X_1|X_2)=SSR(去掉X_2)}{SST(去掉X_2)}$

視為去掉$X_2$因素，$SSE(X_2)=SST(去掉X_2)$

$r_{Y2\cdot1}^2=\cfrac{SSR(X_2|X_1)}{SSE(X_1)}$

同理可得:$r_{Y12\cdot34}^2=\cfrac{SSR(X_1,X_2|X_3,X_4)}{SSE(X_3,X_4)}$

$SST$和自變數個數無關。

複判定係數

$SSR(X_1,X_2,\cdots,X_k)=\displaystyle\sum_{i=1}^{k}\hat{\beta_i}SS_{iY}$

$R_{Y12\cdots k}^2=\cfrac{SSR(X_1,X_2,\cdots,X_k)}{SST}$

調整後之複判定係數

$R_{adj}^2=1-\cfrac{MSE}{MST}=1-\cfrac{\frac{SSE}{n-k-1}}{\frac{SST}{n-1}}$

假設檢定

1.檢定其中之一迴歸係數是否顯著?

$H_0:\beta_j=0$, ，$\left\{\begin{array}{c}
H_1:\beta_j\neq0\\ H_1:\beta_j>0 \\ H_1:\beta_j<0 \end{array}\right.$,  $j=1,2,\cdots,k$

$T.S. :$ $T=\cfrac{\hat{\beta_j}-0}{S(\beta_j)}\sim t_{n-k-1}$

2.$H_0:\beta_j=0$，$H_1:\beta_j\neq0$ ，$j=1,2,\cdots,k$

$T.S. :$ $F=\cfrac{\frac{SSR(X_j|X_1,\cdots,X_{j-1},X_{j+1},\cdots,X_k)}{1}}{\frac{SSE(X_1,\cdots,X_k)}{n-k-1}}\sim F_{\alpha(1,n-k-1)}$

2.檢定多個迴歸係數是否顯著?

只可檢定$\beta_1=\beta_2=\cdots=\beta_j=0$ ,$j\leq k$，和雙尾檢定。

$H_0:\beta_1=\beta_2=\cdots=\beta_j=0$,$j\leq k$ $H_1:\beta_i不全為0$

$T.S. :$ $F=\cfrac{\frac{SSR(X_{目標}|X_{剩下})}{目標數}}{\frac{SSE(X_{所有})}{n-k-1}}\sim F_{(目標數,n-k-1)}$

(迴歸)簡單迴歸分析

模型: $Y_i=\beta_0+ \beta_1X_i+\varepsilon_i$

假設:$\varepsilon_i \stackrel{iid}{\sim}N(0,\sigma^2)$

1.常態性

2.變異數齊一性

3.獨立

4.$E(\varepsilon_i)=0$

5.模型之正確性

$\beta_0+ \beta_1X_i$ is constant. $Y_i$ is r.v.
母體迴歸線: $E(Y\vert X)=E(Y)=\beta_0+\beta_1X$
因為$X$為已知常數 $\implies E(Y\vert X)=E(Y)$
樣本迴歸線:  $\hat{Y_i}=\hat{\beta_0}+\hat{\beta_1}X_i$

樣本迴歸線估計母體迴歸線
 $\hat{Y_i}$ 估計$E(Y_i)$，$\hat{\beta_0}$估計$\beta_0$，$\hat{\beta_1}$估計$\beta_1$
$e_i=Y_i-\hat{Y_i}$ 估計 $\varepsilon_i$

$\hat{\sigma^2}=\cfrac{SSE}{n-2}=MSE$

最小平方法OLS

$min\displaystyle\sum_{i=1}^{n}e_i^2=min\displaystyle\sum_{i=1}^{n}(Y_i-\hat{Y_i})^2$

令$\cfrac{\partial \displaystyle\sum_{i=1}^{n}e_i^2}{\partial \hat{\beta_0}}=\displaystyle\sum_{i=1}^{n}[2(Y_i-\beta_0-\beta_1X_i)(-1)]=0$

令$\cfrac{\partial \displaystyle\sum_{i=1}^{n}e_i^2}{\partial \hat{\beta_1}}=\displaystyle\sum_{i=1}^{n}[2(Y_i-\beta_0-\beta_1X_i)(-X_i)]=0$

正規方程式

$\left\{\begin{array}{}
 n\hat{\beta_0}&+\sum{}X_i \hat{\beta_1}&=\sum{}Y_i \\  \sum{}X_i\hat{\beta_0}&+\sum{}X_i^2\hat{\beta_1}&=\sum{}X_iY_i\\-n \sigma^2&+\sum (Y_i-\beta_0-\beta_1X_i)^2&=0
\end{array}
\right.$

正規方程式之解

$\left\{\begin{array}{}
 \hat{\beta_1}&=\cfrac{SS_{XY}}{SS_X} \\  \hat{\beta_0}&=\overline{Y}-\hat{\beta_1}\overline{X}\\ \hat{\sigma_{MLE}^2}&=\cfrac{\sum e_i^2}{n}
\end{array}
\right.$

$\hat{\beta_1}=r_{XY}\cfrac{\sqrt{SS_Y}}{\sqrt{SS_X}}=r_{XY}\cfrac{S_Y}{S_X}$

抽樣分配

$\hat{\beta_1} \sim N(\beta_1,\frac{\sigma^2}{SS_X})$

$\hat{\beta_0} \sim N(\beta_0,(\frac{1}{n}+\frac{\overline{X}^2 }{SS_X})\sigma^2)$

迴歸模型 $Y_i\stackrel{ indep.}{\sim}N(\beta_0+\beta_1X_i,\sigma^2) $

樣本迴歸線 $\hat{Y_i}\sim N(\beta_0+\beta_1X_i,(\frac{1}{n}+\frac{(X_i-\overline{X})^2 }{SS_X})\sigma^2)$

配適度

$SST=\sum(Y_i-\overline{Y})^2=SS_Y$

$SSR=\sum(\hat{Y_i}-\overline{Y})^2=\hat{\beta_1}^2SS_X=\hat{\beta_1}SS_{XY}$

$SSE=\sum(Y_i-\hat{Y_i})^2=\sum e_i^2=SST-SSR$

判定係數

$R^2=\cfrac{SSR}{SST}=1-\cfrac{SSE}{SST}$

$r^2(相關係數)=(\cfrac{SS_{XY}}{\sqrt{SS_X}\sqrt{SS_Y}})^2=R^2$

意義:表示考慮之自變數及模型可以解釋$Y$之變異達$R^2$%

信賴區間

$E(Y|x=x_0)$之信賴區間$(1-\alpha)$

$(\hat{\beta_0}+\hat{\beta_1}x_0-t_{\frac{\alpha}{2}(n-2)}\sqrt{MSE(\cfrac{1}{n}+\cfrac{(x_0-\overline{x})^2}{SS_X})},\hat{\beta_0}+\hat{\beta_1}x_0+t_{\frac{\alpha}{2}(n-2)}\sqrt{MSE(\cfrac{1}{n}+\cfrac{(x_0-\overline{x})^2}{SS_X})})$

$Y|x=x_0$之預測區間$(1-\alpha)$

$(\hat{\beta_0}+\hat{\beta_1}x_0-t_{\frac{\alpha}{2}(n-2)}\sqrt{MSE(1+\cfrac{1}{n}+\cfrac{(x_0-\overline{x})^2}{SS_X})},\hat{\beta_0}+\hat{\beta_1}x_0+t_{\frac{\alpha}{2}(n-2)}\sqrt{MSE(1+\cfrac{1}{n}+\cfrac{(x_0-\overline{x})^2}{SS_X})})$

假設檢定

以下簡迴歸成立。

$H_0: \beta_1=0$ 和 $H_0:\rho=0$ 等價

三種檢定統計量檢定 $H_0: \beta_1=0$

$T=\cfrac{\hat{\beta_1}-0}{\sqrt{\frac{MSE}{SS_X}}}\sim t_{(n-2)}$

$F=\cfrac{MSR}{MSE}\sim F_{(1,n-2)}$

$T=\cfrac{r\sqrt{n-2}}{\sqrt{1-r^2}}\sim t_{(n-2)}$

性質

1.樣本迴歸線$\hat{Y}$通過點$(\overline{X},\overline{Y})$。

2.$\overline{\hat{Y}}=\overline{Y}$

3.$\sum e_i=0$

4.$\sum e_iX_i=0$

5.$e_i$和$\hat{Y_i}$無關。

6.$e_i$和$X_i$無關。

7.$Cov(\overline{Y},\hat{\beta_1})=0$

8.$Cov(\hat{\beta_0},\hat{\beta_1})=-\cfrac{\overline{X}}{SS_X}\sigma^2$

缺適度檢定

存在離群值使得可能樣本迴歸線為線性，但母體迴歸線為非線性。

$H_0:模型是線性，H_1模型是非線性。$

$SSE=SSLF+SSPE$

$SSLF=\sum\sum(\overline{Y_i}-\hat{Y_i})^2$   

$SSPE=\sum\sum(Y_{ij}-\overline{Y_i})^2$        

$d.f(SSLF)=a-k-1$

$d.f(SSPF)=n-a$  $a=自變數(X)有幾個觀察值$

$MSLF=\cfrac{SSLF}{a-k-1}$

$MSPE=\cfrac{SSPE}{n-a}$

$F_a^*=\cfrac{MSLF}{MSPE}$

逆迴歸

$Y=\beta_0+\beta_1X+\varepsilon  $

$X=\alpha_0+\alpha_1Y+\delta $

$\hat{\beta_1}\hat{\alpha_1}=\cfrac{SS_{XY}^2}{SS_XSS_Y}=r_{XY}^2$

迴歸分析無法驗證因果關係

因為$R_{YX}^2=R_{XY}^2$