(統計)最佳線性預測，線性迴歸

    設一 joint p.d.f. $f(x,y)$ ，且已知 $X 平均數, \mu_x$，變異數,$0\lt\sigma_x^2\lt \infty$，$Y 平均數, \mu_y$，變異數,$0\lt\sigma_y^2\lt \infty$，相關係數$\rho$，則最佳線性預測線 : $$E(Y\vert X)=\mu_y+\rho\frac{\sigma_y}{\sigma_x}(X-\mu_x)$$

假設 $E(Y\vert X)=\cfrac{\displaystyle\int_{-\infty}^{\infty}yf(x,y)dy}{f_1(x)}=a+bx$，即$\displaystyle\int_{-\infty}^{\infty}yf(x,y)dy=(a+bx)f_1(x)\cdots(1)$ ，$\displaystyle{\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}yf(x,y)dydx}=\displaystyle\int_{-\infty}^{\infty}(a+bx)f_1(x)dx$

上式等於 $E(Y)=a+bE(X)$，$\mu_y=a+b\mu_x$，(1)式乘$x$再對$x$積分，可得$E(XY)=aE(X)+bE(X^2)$，$\rho\sigma_x\sigma_y+\mu_x\mu_y$，解$a,b$可得，

$$\begin{align}a&=\mu_y-\rho\cfrac{\sigma_y}{\sigma_x}\mu_x\\b&=\rho\cfrac{\sigma_y}{\sigma_x}\end{align}$$

最小平方法

$Q(a,b)=E[(Y-a-bX)^2]$

$\cfrac{\partial Q}{\partial a}=2E[(Y-a-bX)(-1)]=0$

$\cfrac{\partial Q}{\partial b}=2E[(Y-a-bX)(-X)]=0$

$\implies\left\{
\begin{array}{l}
E(Y)=a+bE(X) \\ E(XY)=aE(X)+bE(X^2)
\end{array}
\right.$

$a=E(Y)-bE(X)$ ，$b=\cfrac{cov(XY)}{V(X)}=\rho\cfrac{\sigma_y}{\sigma_x}$

雙重期望值

設$E(Y|X)=a+bX$
$E_X[E_Y(Y|X)]=E(Y)=a+bE(X)$ ，$a=E(Y)-bE(X)$
$E(XY)=E_X[E_Y(XY|X)]=E_X[XE_Y(Y|X)]=E_X[X(a+bX)]
=E_X[aX+bX^2]=aE(X)+bE(X^2)=[E(Y)-bE(X)]E(X)+bE(X^2)
=E(X)E(Y)-b[E(X)]^2+bE(X^2)$
$\implies cov(XY)=bV(X)$，$b=\rho\cfrac{\sigma_y}{\sigma_x}$

---

若$E(Y\vert X)$ 和 $E(X\vert Y)$ 皆為直線方程式

$\left\{\begin{array}{l}E(Y\vert X)=aX+b\\  E(X\vert Y)=cY+d\end{array}\right.$$\implies$$\left\{\begin{array}{l}a=\rho\cfrac{\sigma_Y}{\sigma_X}\\ c=\rho\cfrac{\sigma_X}{\sigma_Y} \end{array}\right.$$\implies$$\rho^2=ac$$\implies$$\rho=\pm\sqrt{ac}\  (\rho和 a,c 同號)$