(統計)柯西分配 Cauchy Distribution

柯西分配 Cauchy Distribution

$X \sim Cauchy(\alpha,\beta)$

$f(x)=\cfrac{1}{\pi}\cfrac{\alpha}{\alpha^2 + (x-\beta)^2}\ \ ,\ -\infty<x<\infty$

標準柯西分配

$X \sim Cauchy(1,0)$

$f(x)=\cfrac{1}{\pi}\cfrac{1}{1+ x^2}\ \ ,\ -\infty<x<\infty$

$E(X) 不存在。$

$if \ X \sim N(0,1) \perp Y \sim N(0,1)$

$Z=\cfrac{X}{Y}\sim Cauchy(1,0)$

(統計) 有加成性之機率分配

 

1.$X \sim Bin(n,p)$ 二項分配

2.$X \sim NB(r,p)$  負二項分配

3.$X(t) \sim Poission(\lambda )$ 卜瓦松分配

4.$X \sim Gamma(\alpha,\beta )$  Gamma分配

5.$X \sim N(\mu,\sigma^2)$   常態分配

(統計)三個統計常用積分，$Gamma(\Gamma)$積分，$Beta(\beta)$積分，常態$(Norma)$積分。

$Gamma(\Gamma)$積分

$\alpha>0$，$\lambda>0$

$$\displaystyle\int_0^\infty x^{\alpha-1} e^{-\lambda x}dx=\cfrac{\Gamma(\alpha)}{\lambda^{\alpha}}$$

$\Gamma(n)=(n-1)!$

$\Gamma(\frac{1}{2})=\sqrt(\pi)$

$Beta(\beta)$積分

$\alpha>0$，$\beta>0$

$$\displaystyle\int_0^1 x^{\alpha-1}(1-x)^{\beta-1}dx=\cfrac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}$$

常態$(Norma)$積分

$a\in\Re$，$b>0$

$$\displaystyle\int_{-\infty}^{\infty}e^\left[{\cfrac{-(x-a)^2}{2b^2}}\right]dx=\sqrt{2\pi}\cdot b$$

(統計) 機率分布之間特例關係

 

1.$Ber$ 是 $Bin$的特例。

2.$Geo$是 $NB$的特例。

3.$Exp$ 和 $\chi^2 $是 $Gamma$的特例。

(統計)(特殊機率分配) 二項分配和超幾何分配之比較

	同	異	期望值	變異數
$Bin$(二項分配)	r.v.表示成功總次數	抽後放回	$np$	$np(1-p)$
$Hyper(超幾何分配)$	r.v.表示成功總次數	抽後不放回	$n\frac{m}{N}$	$n\frac{m}{N}(1-\frac{m}{N})(\frac{N-n}{N-1})$

(統計)(特殊機率分布)伯努利過程(Bernoulli process)

特性 

1.實驗間相互獨立。

2.$p=p(成功)$皆相同，只有成功/失敗兩種互斥情況。

伯努利過程之機率分配:

各分配之間的r.v. 意義不同。

1.$Bin$(二項分配) :在 n 次實驗中成功總次數。

2.$Geo$(幾何分配):直到第一次成功之總實驗次數。(無記憶)

3.$NB$(負二項分配):直到第 r 次成功之總實驗次數。

$Geo(p)=NB(1,p)$

所以以上3種分配，事件機率可以相互計算。

(統計)Exponential distribution，指數分布

 

Exponential distribution，指數分布

等候1次所需$X$時間。

設$T$為現在到下次事件出現時間，$T>t$表示$(0,t)$時間內無人到達。

$P(T>t)=P(X=0,X \sim P_o(\lambda ))=e^{-\lambda}$

$F(T)=P(T\leq t)=1-P(T>t)=1-e^{-\lambda}$

$\cfrac{dF(T)}{dt}=f(t)=\lambda e^{-\lambda t}$

$\Gamma(1,\beta)$  ，$\lambda=\cfrac{1}{\beta}  $

$f(x)=\left\{\begin{array}{l} \cfrac{1}{\beta}\ e^{\frac{-x}{\beta}}=\lambda e^{-\lambda x}\ \ &,x>0\\0\ \ &,o.w\end{array}\right.$

無記憶性 (同幾何分布)

$P(X\geq i+j \vert X\geq i)=P(X\geq j)$

(統計)F-distribution，F-分布

 

F-distribution，F-分布

$U\sim\chi^2(r_1)$，$V\sim\chi^2(r_2)$，$U$ and $V$ are independent.

查表右尾

$F=\cfrac{\frac{U}{r_1}}{\frac{V}{r_2}}$

$F \sim F(n_1,n_2)$ $\implies$ $\cfrac{1}{F}\sim F(n_2,n_1)$

$F_{1-\alpha}(n_1,n_2)=\cfrac{1}{F_{\alpha}(n_2,n_1)}$

(統計)Normal distribution，常態分配

 

Normal distribution，常態分配

$X \sim N(\mu,\sigma^2)$

$f(x)=\cfrac{1}{\sqrt{2\pi\sigma^2}}e^{\cfrac{(X-\mu)^2}{2\sigma^2}}$    ，$-\infty<x<\infty$

$M(t)=e^{\mu t+\frac{1}{2}\sigma^2t^2}$

$E(X)=\mu$

$Var(X)=\sigma^2$

(統計)Student's t-distribution，學生t分布

 

Student's t-distribution，學生t分布

$Z\sim N(0,1)$   ，$V\sim\chi^2(r)$ ，$Z$ and $V$ are independent.

$T=\cfrac{Z}{\sqrt{\cfrac{V}{r}}}$ ，$T\sim t(n)$ ，自由度為n

$\cfrac{\overline{X}-\mu}{\frac{S}{\sqrt{n}}}\sim t(n-1)$

(統計)Beta ($\beta$) distribution，貝它分布

 

Beta ($\beta$) distribution，貝它分布 

$f(x)=\left\{\begin{array}{l}\cfrac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)+\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}\ \ &,0<x<1\\0\ \ &,o.w\end{array}\right.$

$\mu=\cfrac{\alpha}{\alpha+\beta}$

$\sigma^2=\cfrac{\alpha\beta}{(\alpha+\beta+1)(\alpha+\beta)^2}$

(統計)Chi-squared ($\chi^2$) distribution，卡方分布

 

Chi-squared ($\chi^2$) distribution，卡方分布

$\Gamma(\frac{r}{2},2)$

$f(x)=\left\{\begin{array}{l} \cfrac{1}{\Gamma(\cfrac{r}{2})2^{(\frac{r}{2})}}x^{(\frac{r}{2}-1)}e^{(\frac{-x}{2})}\ \ &,0<x<\infty\\0\ \ &,o.w\end{array}\right.$

$M(t)=(1-2t)^{\frac{-r}{2}}$

$Z_1,Z_2,\cdots,Z_n$ $\stackrel{ iid}{\sim}\ N(0,1)$ $\implies$ $X=\displaystyle\sum_{i=1}^{n}Z_i^2\ \sim \chi^2(n)$

$E(X)=n$，$Var(X)=2n$

---

$\mu$已知，$\cfrac{nS^2}{\sigma^2}\ \sim \chi^2(n)$，$\mu$未知，
用$\overline{X}$取代，$\cfrac{(n-1)S^2}{\sigma^2}\ \sim \chi^2(n-1)$

證:

設   $\cfrac{X_i-\mu}{\sigma}\ \sim\ N(0,1)$ $\implies$ $\cfrac{(X_i-\mu)^2}{\sigma^2}\ \sim \chi^2(1)$ $\implies$ $\displaystyle\sum_{i=1}^{n}\cfrac{(X_i-\mu)^2}{\sigma^2}=\cfrac{(n-1)S^2}{\sigma^2}\ \sim\chi^2(n)$

(統計)Gamma ($\Gamma$) distribution，伽瑪分布

 

Gamma ($\Gamma$) distribution，伽瑪分布

在一個滿足poisson過程實驗，$X(r.v.)$為直到$\alpha$次成功之時間。每單位時間內成功平均次數$\lambda$。(每平均\beta時間成功1次)

$\alpha >0$    $\lambda>0$

$\Gamma(\alpha,\lambda)=f_X(x)=\left\{\begin{array}{l}\cfrac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}\ \ &，0<x<\infty \\0\ \ &，o.w \end{array}\right.$

$\alpha >0$    $\beta>0$

$\Gamma(\alpha,\beta)=f_X(x)=\left\{\begin{array}{l}\cfrac{1}{\Gamma(\alpha)\beta^{\alpha}}x^{\alpha-1}e^{-\frac{x}{\beta}}\ \ &，0<x<\infty \\0\ \ &，o.w \end{array}\right.$

E(X),V(X)

$E(X)=\cfrac{\alpha}{\lambda}=\alpha \beta$

$V(X)=\cfrac{\alpha^2}{\lambda}=\alpha \beta^2$

m.g.f.

$M(t)=\cfrac{1}{({1-\beta })^{\alpha}}$，  $t<\cfrac{1}{\beta}$

伽瑪分配和卡方分配隨機變數之變數變換

若$X\sim \Gamma(\alpha,\lambda) \implies Y=2\lambda X\sim \chi^2_{2\alpha}$

若 $X\sim \chi^2_r \implies Y=\cfrac{aX}{b}\sim \Gamma(\cfrac{r}{2},\lambda=\cfrac{1}{2 \frac{a}{b}}) $

(統計)Continuous uniform distribution，連續型均勻分布

 

Continuous uniform distribution，連續型均勻分布

$X\sim U(a,b)$

$f(x)=\cfrac{1}{b-a}$ ， $a<x<b$

$E(X)=\cfrac{a+b}{2}$

$Var(X)=\cfrac{(b-a)^2}{12}$

$M(t)=\cfrac{e^{tb}-e^{ta}}{t(b-a)}$

(統計)Poisson distribution，卜瓦松分布

 

Poisson distribution，卜瓦松分布

單位時間內，發生$X$次。單位時間內，平均發生$\lambda$次。

$p(x)=\left\{\begin{array}{l}\cfrac{\lambda^xe^{-\lambda } }{x!}\ \ &，x=0,1,2,\cdots, \lambda>0 \\0\ \ &，o.w \end{array}\right.$   

$M(t)=e^{\lambda(e^t-1)}$

$E(X)=Var(X)=\lambda$

$X\sim P_o(\lambda_1)$，$Y\sim P_o(\lambda_2)$ ， $X$ 和 $Y$ indep.

$\implies$ $X+Y\sim P_o(\lambda_1+\lambda_2)$

$X \sim B(n,p)\xrightarrow{n\to \infty,\ \ p\to 0,\ \lambda=np  }p_o(\lambda)$

事件之間互為獨立

(統計)Hypergeometric distribution，超幾何分布

Hypergeometric distribution，超幾何分布

總數為$N$，設其中某一類有$D$個，則非此類有$N-D$個，抽取$n$個，$X$為抽中$D$類的個數。

抽取不放回為超幾何分布。

$p(x)=\cfrac{\pmatrix{N-D\\n-x}\pmatrix{D\\x}}{\pmatrix{N\\n}}$

$E(x)=\displaystyle\sum_{x=0}^nxp(x)=\displaystyle\sum_{x=1}^n\frac{\dbinom{N-D}{n-x}\cfrac{D(D-1)!}{x(x-1)!(D-x)!}}{\cfrac{N(N-1)!}{(N-n)!n(n-1)!}}\\=n\cfrac{D}{N}\displaystyle\sum_{x=1}^n\cfrac{\dbinom{(N-1)-(D-1)}{(n-1)-(x-1)}\dbinom{D-1}{x-1}}{\dbinom{N-1}{n-1}}=n\frac{D}{N}$

$Var(X)=n\cfrac{D}{N}\cfrac{N-D}{N}\cfrac{N-n}{N-1}$            ，$\left(\cfrac{N-n}{N-1}\right)$是取後不放回校正因子

$HG(N,a,n)\xrightarrow{N\to \infty,\ a\to \infty,\ p=\frac{a}{N} }B(n,p)$

(統計)Geometric distribution，幾何分布

 

Geometric distribution，幾何分布

第一次成功之前所失敗的次數。

$r=1$之負二項分布。

$p_Y(y)=p(1-p)^y\ ，\ \ y=0,1,2,\cdots$

$M(t)= \cfrac{pe^t}{1-(1-p)e^t} $

$E(X)=\cfrac{1}{p}$

$Var(X)=\cfrac{1-p}{p^2}$

無記憶性 (同指數分布)

$P(X\geq i+j \vert X\geq i)=P(X\geq j)$

(統計)Negative Binomial distribution，負二項分布

 

Negative Binomial distribution，負二項分布

到第$r$次成功時，前面有$Y$次失敗的機率。最後一次成功，前面是$(y+r-1)$次中$(r-1)$成功的二項分布和最後一次成功之機率。

$p_Y(y)=\left\{\begin{array}{l}\pmatrix{y+r-1\\r-1}p^r(1-p)^{y}\ \ &，y=0,1,2,\cdots,n \\0\ \ &，o.w \end{array}\right.$ 

$M(t)= \left(\cfrac{pe^t}{1-(1-p)e^t}\right)^r $

$E(X)=\cfrac{r}{p}$

$Var(X)=\cfrac{r(1-p)}{p^2}$

(統計)Multinomial distribution，多項分佈

 

Multinomial distribution，多項分佈

n次試驗，有k種現象，其出現機率 $p_i$，$i=1,2,\cdots k$。(二項分布只有兩種)

$P(x_1,x_2,\cdots ,x_{k-1})=\cfrac{n!}{x_1!x_2! \cdots x_k!}p_1^{x_1} \cdots p_{k-1}^{x_{k-1}}\ p_{k}^{x_{k}}\ ，\ \ where\ \ x_{k}=n- x_1-\cdots-x_{k-1}$

三項分布

joint pdf

$f(x,y)=\cfrac{n!}{x!y!(n-x-y)!}p_1^{x}p_2^{y}(1-p_1-p_2)^{n-x-y}$      $x,y,x+y=0,1,2,\cdots,n$

marginal pdf

$f(x)=\displaystyle\sum_{y=0}^{n-x}\cfrac{n!}{x!y!(n-x-y)!}p_1^{x}p_2^{y}(1-p_1-p_2)^{n-x-y}\\=\cfrac{n!\ p_1^{x}}{x!(n-x)!}\displaystyle\sum_{y=0}^{n-x}\cfrac{(n-x)!}{y!(n-x-y)!}p_2^{y}(1-p_1-p_2)^{n-x-y}\\=\cfrac{n!\ p_1^{x}}{x!(n-x)!}(p_2+1-p_1-p_2)^{n-x}=\dbinom{n}{x}p_1^{x}(1-p_1)^{n-x}\implies\ X\sim B(n,p_1)$

，同理 $Y\sim B(n,p_2)$。

conditional pdf

$f(x\vert Y=y)=\cfrac{f(x,y)}{f(y)}=\cfrac{\cfrac{n!}{x!y!(n-x-y)!}p_1^{x}p_2^{y}(1-p_1-p_2)^{n-x-y}}{\dbinom{n}{y}p_2^y(1-p)^{n-y}}\\=\cfrac{(n-y)!}{x!(n-x-y)!}(\cfrac{p_1}{1-p_2})^x(\cfrac{1-p_1-p_2}{1-p_2})^{n-x-y}\implies\ (X\vert Y=y)\sim B(n-y,\cfrac{p_1}{1-p_2})$

$(Y\vert X=x)\sim B(n-x,\cfrac{p_2}{1-p_1})$

由上可知，$E(Y\vert X)=(n-x)\cfrac{p_2}{1-p_1}$，斜率$=\cfrac{-p_2}{1-p_1}=\rho\cfrac{\sigma_y}{\sigma_x}\implies \rho=-\sqrt{\cfrac{p_1p_2}{(1-p_1)(1-p_2)}}$    ($\rho\ 和斜率同號$)

(統計)Binomial distribution，二項分布

 

Binomial distribution，二項分布

$(a+b)^n=\sum_{x=0}^n\pmatrix{n\\x}b^xa^{n-x}$  (二項式定理)

抽取放回為二項分布。

進行$n$次相互獨立且成功機率$p$相同之伯努力實驗，$r.v.X$為"成功"之總次數。

$p(X=x)=f_X(x)=\left\{\begin{array}{l}\pmatrix{n\\x}p^x(1-p)^{n-x}\ \ &，x=0,1,2,\cdots,n \\0\ \ &，o.w \end{array}\right.$       ($p$成功機率)

$E(X)=np$

$V(X)=np(1-p)$

m.g.f.

$M_X(t)=E(e^{tx})=[(1-p)+pe^t]^n$

加成性

$X_i \stackrel{ indep.}{\sim} Bin(n_i,p)$ ,$i=1,2,\cdots,k$

則 $Y=\displaystyle\sum_{x=1}^{k}X_i  \sim Bin(\displaystyle\sum_{i=1}^{k}n_i,p) $ (注意:$p$需相同)

$X\sim B(n,p)\xrightarrow{n\to \infty,\ CLT}N(\mu=np,\ \sigma^2=np(1-p))$

EX:$X\sim B(n,p)$ ，$Y\sim B(m,p)$，$X \perp Y$ 

$P(X=x \vert X+Y=z)=\cfrac{P(X=x 且 Y=z-x)}{P(X+Y=z)}=\cfrac{P(X=x)P(Y=z-x)}{P(X+Y=z)}\\=\cfrac{\dbinom{n}{x}p^x(1-p)^{n-x}\dbinom{m}{z-x}p^{z-x}(1-p)^{m-z+x}}{\dbinom{n+m}{z}p^z(1-p)^{n+m-z}}=\cfrac{\dbinom{n}{x}\dbinom{m}{z-x}}{\dbinom{n+m}{z}}\ \ \ \ \ x=0,1,2,\cdots,z$
為超幾何分配。