第 1 章 機率與分佈 (Probability and Distributions)
1.1 簡介 (Introduction)
在本節中，我們將直觀地探討機率模型的概念，並在 1.3 節中將其形式化。許多類型的調查研究都可以部分地歸結為一個特徵：在基本相同的條件下重複進行實驗是或多或少的標準程序。例如，在醫學研究中，人們的興趣可能集中在即將施用的某種藥物的效果上；或者經濟學家可能關心三種特定商品在不同時間間隔的價格；或者農學家可能希望研究化學肥料對穀物產量的影響。研究人員能夠獲取關於任何此類現象資訊的唯一方法就是進行實驗。每次實驗都會以一個結果終結。但這些實驗的特點是，在實驗進行之前，無法確定地預測其結果。
範例 1.1.2. 在投擲一顆紅色骰子和一顆白色骰子時，令結果為有序對 (紅色骰子朝上的點數, 白色骰子朝上的點數)。如果我們假設這對骰子可以在相同的條件下被重複投擲，那麼投擲這對骰子就是一個隨機實驗。樣本空間由 36 個有序對組成：\mathcal{C}=\{(1,1),...,(1,6),(2,1),...,(2,6),...,(6,6)\}。
我們通常使用小寫羅馬字母（如 a、b 或 c）來表示 \mathcal{C} 中的元素。對於一個實驗，我們經常對樣本空間元素中某些子集發生的機會感興趣。\mathcal{C} 的子集通常被稱為事件 (events)，並且通常用大寫羅馬字母（如 A、B 或 C）來表示。如果實驗的結果是事件 A 中的一個元素，我們就說事件 A 發生了。我們感興趣的是一個事件發生的機會。例如，在範例 1.1.1 中，我們可能對得到正面的機會感興趣；也就是說，事件 A=\{H\} 發生的機會。在第二個例子中，我們可能對骰子朝上點數之和為「7」或「11」的發生感興趣；也就是說，事件 A=\{(1,6),(2,5),(3,4),(4,3),(5,2),(6,1),(5,6),(6,5)\} 發生的情況。
範例 1.1.3. 令 \mathcal{C} 表示範例 1.1.2 的樣本空間，並令 B 為 \mathcal{C} 中所有點數和等於 7 的有序對的集合。因此 B=\{(1,6),(2,5),(3,4),(4,3),(5,2),(6,1)\}。假設骰子被投擲 N=400 次，並令 f 表示和為 7 的頻率。假設 400 次投擲結果為 f=60。那麼結果落在 B 中的相對頻率為 f/N=\frac{60}{400}=0.15。因此，我們可能會將一個接近 0.15 的數字 p 與 B 聯繫起來，而 p 將被稱為事件 B 的機率。 ■
註 1.1.1. 上述對機率的解釋有時被稱為相對頻率方法 (relative frequency approach)，它顯然依賴於實驗可以在基本相同的條件下重複進行這一事實。然而，許多人透過將機率視為一種理性的信念度量，將機率擴展到其他情況。例如，對於事件 A 的聲明 p=\frac{2}{5}，對他們來說意味著他們對事件 A 的個人或主觀機率等於 \frac{2}{5}。因此，如果他們不反對賭博，這可以解釋為他們願意就 A 的結果進行下注，使得兩種可能的支出比率為 p/(1-p)=\frac{2}{5}/\frac{3}{5}=\frac{2}{3}。此外，如果他們真誠地相信 p=\frac{2}{5} 是正確的，他們將願意接受賭局的任何一方：(a) 如果 A 發生贏得 3 個單位，如果不發生則輸掉 2 個單位；或者 (b) 如果 A 不發生贏得 2 個單位，如果發生則輸掉 3 個單位。然而，由於第 1.3 節中給出的機率的數學性質與這兩種解釋中的任何一種都是一致的，因此隨後的數學發展並不依賴於使用哪種方法。 ■
1.2 集合 (Sets)
集合 (set) 或物件收集的概念通常是不加定義的。然而，一個特定的集合可以被清楚地描述，以至於對於正在考慮的是什麼樣的物件收集不會產生任何誤解。例如，前 10 個正整數的集合被描述得足夠清楚，可以明白數字 \frac{3}{4} 和 14 不在該集合中，而數字 3 在該集合中。如果一個物件屬於某個集合，則稱其為該集合的元素 (element)。例如，如果 C 表示滿足 0\le x\le1 的實數 x 的集合，那麼 \frac{3}{4} 就是集合 C 的一個元素。\frac{3}{4} 是集合 C 的元素這一事實可表示為 \frac{3}{4}\in C。更一般地說，c\in C 表示 c 是集合 C 的一個元素。
1.2.1 集合論回顧 (Review of Set Theory)
定義 1.2.1. 事件 A 的補集是 \mathcal{C} 中所有不在 A 中的元素組成的集合。我們用 A^{c} 表示 A 的補集。也就是說，A^{c}=\{x\in\mathcal{C}: x\notin A\}。
定義 1.2.2. 如果集合 A 的每個元素也是集合 B 的元素，則稱集合 A 是集合 B 的子集 (subset)。這可以透過記作 A\subset B 來表示。如果 A\subset B 並且 B\subset A，則這兩個集合具有相同的元素，這可以透過記作 A=B 來表示。
定義 1.2.3. 令 A 和 B 為事件。那麼 A 和 B 的聯集 (union) 是所有在 A 中、在 B 中、或者同時在 A 和 B 中的元素組成的集合。A 和 B 的聯集記為 A\cup B。
定義 1.2.4. 令 A 和 B 為事件。那麼 A 和 B 的交集 (intersection) 是所有同時在 A 和 B 中的元素組成的集合。A 和 B 的交集記為 A\cap B。
定義 1.2.5. 令 A 和 B 為事件。如果 A\cap B=\phi，則稱 A 和 B 是互斥的 (disjoint)。如果 A 和 B 是互斥的，那麼我們說 A\cup B 形成一個不相交聯集 (disjoint union)。
範例 1.2.1. 假設 \mathcal{C}=\{1,2,...,10\}。定義事件 A、B 和 C 分別為 A=\{1,2\}、B=\{2,3,4\} 和 C=\{3,4,5,6\}。
A^{c}=\{3,4,...,10\}; A\cup B=\{1,2,3,4\}; A\cap B=\{2\}
A\cap C=\phi; B\cap C=\{3,4\}; B\cap C\subset B; B\cap C\subset C
A\cup(B\cap C)=\{1,2\}\cup\{3,4\}=\{1,2,3,4\} (1.2.1)
(A\cup B)\cap(A\cup C)=\{1,2,3,4\}\cap\{1,2,3,4,5,6\}=\{1,2,3,4\} (1.2.2)
範例 1.2.2. 在這個例子中，假設實驗是在開區間 (0,5) 中選擇一個實數；因此，樣本空間為 \mathcal{C}=(0,5)。令 A=(1,3)， B=(2,4)，以及 C=[3,4.5)。
A\cup B=(1,4); A\cap B=(2,3); B\cap C=[3,4)
A\cap(B\cup C)=(1,3)\cap(2,4.5)=(2,3) (1.2.3)
(A\cap B)\cup(A\cap C)=(2,3)\cup\phi=(2,3) (1.2.4)
分配律 (Distributive laws)：
A\cap(B\cup C)=(A\cap B)\cup(A\cap C) (1.2.5)
A\cup(B\cap C)=(A\cup B)\cap(A\cup C)
狄摩根定律 (DeMorgan's Laws)：
(A\cap B)^{c}=A^{c}\cup B^{c} (1.2.6)
(A\cup B)^{c}=A^{c}\cap B^{c} (1.2.7)
如果 A_{1},A_{2},...,A_{n} 是任意集合：
A_{1}\cup A_{2}\cup\cdot\cdot\cdot\cup A_{n}=\{x:x\in A_{i} , \text{對於某些 } i=1,2,...,n\} (1.2.8)
A_{1}\cap A_{2}\cap...\cap A_{n}=\{x:x\in A_{i} , \text{對於所有 } i=1,2,...,n\} (1.2.9)
範例 1.2.3. 假設 \mathcal{C}=\{1,2,3,...\}。如果 A_{n}=\{1,3,...,2n-1\} 且 B_{n}=\{n,n+1,...\}，對於 n=1,2,3,...，那麼
\cup_{n=1}^{\infty}A_{n}=\{1,3,5,...\}; \cap_{n=1}^{\infty}A_{n}=\{1\}; (1.2.12)
\cup_{n=1}^{\infty}B_{n}=\mathcal{C}; \cap_{n=1}^{\infty}B_{n}=\phi. (1.2.13) ■
範例 1.2.4. 假設 \mathcal{C} 是實數區間 (0,5)。假設 C_{n}=(1-n^{-1},2+n^{-1}) 且 D_{n}=(n^{-1},3-n^{-1})，對於 n=1,2,3,...。那麼
\cup_{n=1}^{\infty}C_{n}=(0,3); \cap_{n=1}^{\infty}C_{n}= (1.2.14)
\cup_{n=1}^{\infty}D_{n}=(0,3); \cap_{n=1}^{\infty}D_{n}=(1,2). (1.2.15)
如果對於 n=1,2,3,...，有 A_{n}\subset A_{n+1}，則集合序列是非遞減的 (nondecreasing)：
lim_{n\rightarrow\infty}A_{n}=\cup_{n=1}^{\infty}A_{n} (1.2.16)
如果對於 n=1,2,3,... 有 A_{n}\supset A_{n+1}，則集合序列是非遞增的 (nonincreasing)：
lim_{n\rightarrow\infty}A_{n}=\cap_{n=1}^{\infty}A_{n} (1.2.17)
1.2.2 集合函數 (Set Functions)
範例 1.2.8. 令 \mathcal{C} 為正實數區間，即 \mathcal{C}=(0,\infty)。令 A 為 \mathcal{C} 的子集。定義集合函數 Q 為 Q(A)=\int_{A}e^{-x}dx (1.2.20)
Q[(1,3)]=\int_{1}^{3}e^{-x}dx=-e^{-x}|_{1}^{3}=e^{-1}-e^{-3}\dot{=}0.318
Q[(5,\infty)]=\int_{5}^{\infty}e^{-x}dx=-e^{-x}|_{5}^{\infty}=e^{-5}\dot{=}0.007
Q[(1,3)\cup[3,5)]=\int_{1}^{5}e^{-x}dx=\int_{1}^{3}e^{-x}dx+\int_{3}^{5}e^{-x}dx=Q[(1,3)]+Q([3,5)]
Q(\mathcal{C})=\int_{0}^{\infty}e^{-x}dx=1. ■
範例 1.2.9. 令 \mathcal{C}=R^{n}。對於 \mathcal{C} 中的 B，
如果 B=\{(x_{1},x_{2},...,x_{n}):0\le x_{1}\le x_{2}\le\cdot\cdot\cdot\le x_{n}\le1\}，那麼
Q(B)=\int_{0}^{1}[\int_{0}^{x_{n}}\cdot\cdot\cdot[\int_{0}^{x_{3}}[\int_{0}^{x_{2}}dx_{1}]dx_{2}]\cdot\cdot\cdot dx_{n-1}]dx_{n}=\frac{1}{n!}
習題 1.2 (EXERCISES)
1.2.1. 找出兩個集合 C_1 和 C_2 的聯集 C_1 \cup C_2 和交集 C_1 \cap C_2，其中
(a) C_1=\{2,3,5,7\}, C_2=\{1,3,5\}
(b) C_1=\{x:0\le x\le 3\}, C_2=\{x:2
(c) C_1=\{(x,y):0
1.2.2. 求集合 C 關於空間 \mathcal{C} 的補集 C^c：
(a) \mathcal{C}=\{x:0
(b) \mathcal{C}=\{(x,y,z):x^2+2y^2+3z^2\le 4\}, C=\{(x,y,z):x^2+2y^2+3z^2<4\}。
(c) \mathcal{C}=\{(x,y):x^2+y^2\le 1\}, C=\{(x,y):|x|+|y|<1\}。
1.2.3. 列出四個字母 l, a, m, b 的所有可能排列。令 C_1 為 b 在第一個位置的排列集合。令 C_2 為 a 在第三個位置的排列集合。求 C_1 和 C_2 的聯集與交集。
1.2.4. 關於狄摩根定律 (1.2.6) 和 (1.2.7)：
(a) 使用文氏圖驗證這些定律。
(b) 證明這些定律是正確的。
(c) 將這些定律推廣到可數聯集和交集。
1.2.5. 藉助文氏圖，其中空間 \mathcal{C} 是由包含圓形 C_1, C_2, C_3 的矩形所包圍的點集，比較以下集合。這些定律稱為分配律。
(a) C_1 \cap (C_2 \cup C_3) 和 (C_1 \cap C_2) \cup (C_1 \cap C_3)
(b) C_1 \cup (C_2 \cap C_3) 和 (C_1 \cup C_2) \cap (C_1 \cup C_3)。
1.2.6. 證明下列集合序列 \{C_k\} 是非遞減的 (1.2.16)，然後求 \lim_{k\to\infty} C_k。
(a) C_k=\{x:1/k\le x \le 3-1/k\}, k=1,2,3,...
(b) C_k=\{(x,y):1/k\le x^2+y^2\le 4-1/k\}, k=1,2,3,...
1.2.7. 證明下列集合序列 \{C_k\} 是非遞增的 (1.2.17)，然後求 \lim_{k\to\infty} C_k。
(a) C_k=\{x:2-1/k < x \le 2\}, k=1,2,3,...
(b) C_k=\{x:2 < x \le 2+1/k\}, k=1,2,3,...
(c) C_k=\{(x,y):0\le x^2+y^2\le 1/k\}, k=1,2,3,...
1.2.8. 對於每一個一維集合 C，定義函數 Q(C)=\sum_C f(x)，其中 f(x)=(3/4)(1/4)^x, x=0,1,2,...，其他地方為零。如果 C_1=\{x:x=0,2,4\} 且 C_2=\{x:x=0,1,2,...\}，求 Q(C_1) 和 Q(C_2)。提示：回顧 S_n=a+ar+...+ar^{n-1}=a(1-r^n)/(1-r)。
1.2.9. 對於每一個使積分存在的一維集合 C，令 Q(C)=\int_C f(x)dx，其中 f(x)=(3/4)(1-x^2)，-1
(1.2.10~1.2.12a 於提供的原始文本中缺失)
(b) 如果 C 是子集 \{(x,y,z):0
1.2.13. 令 C 表示集合 \{(x,y,z):x^2+y^2+z^2\le 1\}。使用球坐標計算 Q(C)=\iiint_C \sqrt{x^2+y^2+z^2}dxdydz。
1.2.14. 要加入某個俱樂部，一個人必須是統計學家或數學家，或兩者皆是。在這個俱樂部的 35 名成員中，25 人是統計學家，17 人是數學家。俱樂部中有多少人既是統計學家又是數學家？
1.2.15. 在一場激烈的足球比賽後，據報導在 11 名先發球員中，7 人傷了臀部，5 人傷了手臂，7 人傷了膝蓋，3 人傷了臀部和手臂，3 人傷了臀部和膝蓋，2 人傷了手臂和膝蓋，1 人三個部位都傷了。對這份報告的準確性發表評論。
1.3 機率集合函數 (The Probability Set Function)
給定一個實驗，令 \mathcal{C} 表示所有可能結果的樣本空間。正如 1.1 節所討論的，我們感興趣的是為事件（即 \mathcal{C} 的子集）分配機率。我們假設在所有情況下，事件集合都足夠豐富以包含所有感興趣的可能事件，並且在這些事件的補集和可數聯集下是閉合的。使用狄摩根定律，該集合在可數交集下也是閉合的。我們用 \mathcal{B} 表示這個事件集合。在技術上，這樣的事件集合被稱為子集的 \sigma-體 ( \sigma-field )。
定義 1.3.1 (機率). 令 \mathcal{C} 為樣本空間，並令 \mathcal{B} 為事件的集合。令 P 為定義在 \mathcal{B} 上的一個實值函數。如果 P 滿足以下三個條件，則 P 是一個機率集合函數：
- 對於所有 A\in\mathcal{B}，P(A)\ge0。
- P(\mathcal{C})=1。
- 如果 \{A_{n}\} 是 \mathcal{B} 中的一個事件序列，且對於所有 m\ne n，有 A_{m}\cap A_{n}=\phi，那麼
P(\bigcup_{n=1}^{\infty}A_{n})=\sum_{n=1}^{\infty}P(A_{n}).
定理 1.3.1. 對於每個事件 A\in\mathcal{B}，P(A)=1-P(A^{c}).
證明：我們有 \mathcal{C}=A\cup A^{c} 和 A\cap A^{c}=\phi.。因此，由定義 1.3.1 得出 1=P(A)+P(A^{c})。 ■
定理 1.3.2. 空集的機率為零；即 P(\phi)=0。
證明：在定理 1.3.1 中，取 A=\phi，所以 A^{c}=\mathcal{C}。因此，P(\phi)=1-P(\mathcal{C})=1-1=0。 ■
定理 1.3.3. 如果 A 和 B 是滿足 A\subset B 的事件，那麼 P(A)\le P(B)。
證明：現在 B=A\cup(A^{c}\cap B) 且 A\cap(A^{c}\cap B)=\phi.。因此 P(B)=P(A)+P(A^{c}\cap B)，因為 P(A^{c}\cap B)\ge0.，因此 P(B)\ge P(A). ■
定理 1.3.4. 對於每個 A\in\mathcal{B}，0\le P(A)\le1。
證明：因為 \phi\subset A\subset\mathcal{C}，根據定理 1.3.3 我們有 P(\phi)\le P(A)\le P(\mathcal{C}) 也就是 0\le P(A)\le1。 ■
定理 1.3.5. 如果 A 和 B 是 \mathcal{C} 中的事件，那麼 P(A\cup B)=P(A)+P(B)-P(A\cap B)。
範例 1.3.1. 令機率集合函數為 \mathcal{C} 中的 36 個點分別賦予 \frac{1}{36} 的機率（骰子是公平的）。如果 C_{1}=\{(1,1),(2,1),(3,1), (4, 1), (5, 1)\} 且 C_{2}=\{(1,2),(2,2),(3,2)\}，那麼 P(C_{1})=\frac{5}{36}，P(C_{2})=\frac{3}{36}，P(C_{1}\cup C_{2})=\frac{8}{36}，以及 P(C_{1}\cap C_{2})=0。 ■
範例 1.3.2. 擲兩枚硬幣。\mathcal{C}=\{(H,H),(H,T),(T,H),(T,T)\}。每個元素機率 \frac{1}{4}。令 C_{1}=\{(H,H),(H,T)\} 和 C_{2}=\{(H,H),(T,H)\}。那麼 P(C_{1})=P(C_{2})=\frac{1}{2}，P(C_{1}\cap C_{2})=\frac{1}{4}，並且 P(C_{1}\cup C_{2})=\frac{1}{2}+\frac{1}{2}-\frac{1}{4}=\frac{3}{4}。
定義 1.3.2 (等可能情況 Equilikely Case). 令 \mathcal{C}=\{x_1, x_2, ..., x_m\} 為有限樣本空間。令 p_i=1/m 對於所有 i=1,2,...,m。
1.3.1 計數法則 (Counting Rules)
第一個法則稱為 mn 法則。如果有 m 個元素在集合 A 中，n 個元素在集合 B 中，則有 mn 個有序對。
如果我們感興趣的是分量皆為 A 中相異（不重複）元素的 k 元組，我們將每個這樣的 k 元組稱為一個排列 (permutation)，表示為 P_k^n：
P_k^n = n(n-1)\cdot\cdot\cdot(n-(k-1)) = \frac{n!}{(n-k)!}
範例 1.3.3 (生日問題). 假設一個房間裡有 n 個人。找出事件 A「至少有兩人生日相同」的機率。A^c 中的 n 元組數量是 P_n^{365}。因此，A 的機率為
P(A) = 1 - \frac{P_n^{365}}{365^n}.
最後一個計數法則，如果順序並不重要，我們想計算從 A 中取出的 k 個元素的子集 (subsets) 數量，表示為 \binom{n}{k}：
\binom{n}{k} = \frac{n!}{k!(n-k)!}
這被稱為組合 (combinations)。
然而，與其只抽一張牌，假設我們從這副牌中隨機且不放回地抽出五張牌；即一手五張的撲克牌。在這種情況下，順序並不重要。因此，一手牌是從 52 個元素的集合中抽出五個元素的子集。因此，根據 (1.3.6)，有 \binom{52}{5} 種撲克牌手牌... (後續為範例撲克牌機率，例如同花順機率)。
1.3.2 機率的其他性質 (Additional Properties of Probability)
定理 1.3.6 (機率的連續性定理).
令 \{C_n\} 為非遞減的事件序列。那麼 \lim_{n\rightarrow\infty}P(C_n)=P(\lim_{n\rightarrow\infty}C_n)=P(\bigcup_{n=1}^\infty C_n)。
令 \{C_n\} 為遞減的事件序列。那麼 \lim_{n\rightarrow\infty}P(C_n)=P(\lim_{n\rightarrow\infty}C_n)=P(\bigcap_{n=1}^\infty C_n)。
定理 1.3.7 (布林不等式 Boole's Inequality). 令 \{C_n\} 為任意事件序列。那麼 P(\bigcup_{n=1}^\infty C_n)\le\sum_{n=1}^\infty P(C_n)。
註 1.3.2 (排容原理). P(C_1\cup C_2\cup C_3)=p_1-p_2+p_3。
一般形式：P(C_1\cup C_2\cup\cdot\cdot\cdot\cup C_k)=p_1-p_2+p_3-\cdot\cdot\cdot+(-1)^{k+1}p_k。
習題 1.3 (EXERCISES)
1.3.1. 從一到六的正整數將透過擲骰子來選擇。因此樣本空間 \mathcal{C} 的元素 c 是 1, 2, 3, 4, 5, 6。假設 C_1=\{1,3,5\} 且 C_2=\{2,4,6\}。如果機率集合函數 P 為 \mathcal{C} 中的每個元素分配 1/6 的機率，計算 P(C_1), P(C_2), P(C_1\cap C_2), 以及 P(C_1\cup C_2)。
1.3.2. 一個隨機實驗包括從一副普通的 52 張撲克牌中抽出一張牌。令機率集合函數 P 為 52 種可能結果的每一種分配 1/52 的機率。令 C_1 表示 13 張紅心的集合，令 C_2 表示 4 張 K 的集合。計算 P(C_1), P(C_2), P(C_1\cap C_2), 以及 P(C_1\cup C_2)。
1.3.3. 投擲硬幣直到出現一次正面為止。因此樣本空間 \mathcal{C} 的元素 c 是 H, TH, TTH, TTTH 等等。令機率集合函數 P 為這些元素分別分配機率 1/2, 1/4, 1/8, 1/16 等等。證明 P(\mathcal{C})=1。令 C_1=\{c: c\text{ 是 } H, TTH, \text{或 } TTTTH\}。計算 P(C_1)。接下來，假設 C_2=\{c: c\text{ 是 } H, TH, TTH, \text{或 } TTTH\}。計算 P(C_2), P(C_1\cap C_2), 以及 P(C_1\cup C_2)。
1.3.4. 如果樣本空間是 \mathcal{C}=C_1\cup C_2 並且 P(C_1)=0.65 且 P(C_2)=0.75，求 P(C_1\cap C_2)。
1.3.5. 令樣本空間為 \mathcal{C}=\{c:0
1.3.6. 如果樣本空間是 \mathcal{C}=\{c:-\infty
1.3.7. 如果 C_1 和 C_2 是樣本空間 \mathcal{C} 的子集，證明 P(C_1\cap C_2)\le P(C_1)\le P(C_1\cup C_2)\le P(C_1)+P(C_2)。
1.3.8. 令 C_1, C_2, 和 C_3 為樣本空間 \mathcal{C} 的三個兩兩互斥子集。求 P[(C_1\cup C_2)\cap C_3] 和 P(C_1^c \cup C_2^c)。
1.3.9. 考慮註 1.3.2。
(a) 如果 C_1, C_2, 和 C_3 是 \mathcal{C} 的子集，證明 P(C_1\cup C_2\cup C_3)=P(C_1)+P(C_2)+P(C_3)-P(C_1\cap C_2)-P(C_1\cap C_3)-P(C_2\cap C_3)+P(C_1\cap C_2\cap C_3)。
(b) 現在證明表達式 (1.3.13) 給出的一般排容公式。
註 1.3.3. 為了求解習題 (1.3.10)-(1.3.19)，必須做出某些合理的假設。
1.3.10. 一個碗裡有 16 個籌碼，其中 6 個是紅色，7 個是白色，3 個是藍色。如果隨機且不放回地抽出 4 個籌碼，求以下機率：(a) 4 個籌碼都是紅色；(b) 4 個籌碼都不是紅色；(c) 每種顏色至少有一個籌碼。
1.3.11. 一個人在某次抽獎中購買了 1000 張售出彩券中的 10 張。為了決定五名獲獎者，將隨機且不放回地抽出五張彩券。計算此人至少贏得一個獎項的機率。提示：首先計算此人沒有中獎的機率。
1.3.12. 計算隨機且不放回地發出一手 13 張橋牌的機率，該手牌包含：(a) 6 張黑桃、4 張紅心、2 張方塊和 1 張梅花；(b) 13 張相同花色的牌。
1.3.13. 從前 20 個正整數中隨機選出三個不同的整數。計算以下機率：(a) 它們的和是偶數；(b) 它們的乘積是偶數。
1.3.14. 碗裡有五個紅籌碼和三個藍籌碼。紅籌碼分別標有數字 1, 2, 3, 4, 5，藍籌碼分別標有數字 1, 2, 3。如果隨機且不放回地抽出兩個籌碼，求這兩個籌碼具有相同數字或相同顏色的機率。
1.3.15. 在一批 50 個燈泡中，有 2 個壞燈泡。檢查員隨機且不放回地檢查五個燈泡。
(a) 求這五個燈泡中至少有一個壞燈泡的機率。
(b) 應該檢查多少個燈泡，才能使找到至少一個壞燈泡的機率超過 1/2？
1.3.16. 對於生日問題（範例 1.3.3），使用給定的 R 函數 bday 來確定 n 的值，使得 p(n)\ge 0.5 且 p(n-1)<0.5，其中 p(n) 是 n 個人的房間裡至少有兩人生日相同的機率。
1.3.17. 如果 C_1,...,C_k 是樣本空間 \mathcal{C} 中的 k 個事件，證明至少發生一個事件的機率等於一減去它們都不發生的機率；即 P(C_1\cup\cdot\cdot\cdot\cup C_k)=1-P(C_1^c\cap\cdot\cdot\cdot\cap C_k^c)。
1.3.18. 一位秘書打了三封信和三個對應的信封。他匆忙中隨機地將每封信放入一個信封中。至少有一封信放在正確信封裡的機率是多少？提示：令 C_i 為第 i 封信在正確信封裡的事件。展開 P(C_1\cup C_2\cup C_3) 以確定機率。
1.3.19. 考慮從一副洗好的撲克牌中抽出的撲克牌手牌（如範例 1.3.4 所述）。確定葫蘆 (full house) 的機率，即三張點數相同和另外兩張點數相同的牌。
1.3.20. 證明表達式 (1.3.9)。
1.3.21. 假設實驗是從區間 (0,1) 中隨機選擇一個實數。對於任何子區間 (a,b)\subset(0,1)，分配機率 P[(a,b)]=b-a 似乎是合理的；也就是說，從子區間中選擇點的機率與子區間的長度成正比。如果是這種情況，請選擇適當的子區間序列並使用表達式 (1.3.9) 來證明對於所有 a\in(0,1)，P[\{a\}]=0。
1.3.22. 考慮事件 C_1, C_2, C_3。
(a) 假設 C_1, C_2, C_3 是互斥事件。如果 P(C_i)=p_i, i=1,2,3，那麼對總和 p_1+p_2+p_3 的限制是什麼？
(b) 在 (a) 部分的符號中，如果 p_1=4/10, p_2=3/10, 且 p_3=5/10，那麼 C_1, C_2, C_3 是互斥的嗎？
1.3.23. 假設 \mathcal{D} 是 \mathcal{C} 的一個非空子集收集。考慮事件集合 \mathcal{B}=\cap\{\mathcal{E}:\mathcal{D}\subset\mathcal{E} \text{ 且 } \mathcal{E} \text{ 是一個 } \sigma\text{-體}\}。請注意 \phi\in\mathcal{B} 因為它在每一個 \sigma-體中，因此特別地，它在每一個 \sigma-體 \mathcal{E}\supset\mathcal{D} 中。以此方式繼續證明 \mathcal{B} 是一個 \sigma-體。
1.3.24. 令 \mathcal{C}=R，其中 R 是所有實數的集合。令 \mathcal{I} 為 R 中所有開區間的集合。實數線上的波萊爾 (Borel) \sigma-體由下式給出：\mathcal{B}_0=\cap\{\mathcal{E}:\mathcal{I}\subset\mathcal{E} \text{ 且 } \mathcal{E} \text{ 是一個 } \sigma\text{-體}\}。由定義可知，\mathcal{B}_0 包含開區間。因為 [a,\infty)=(-\infty,a)^c 且 \mathcal{B}_0 在補集下是閉合的，所以它包含所有形如 [a,\infty) 的區間（對於 a\in R）。以此方式繼續，並證明 \mathcal{B}_0 包含實數的所有閉區間和半開區間。
1.4 條件機率與獨立性 (Conditional Probability and Independence)
在某些隨機實驗中，我們只對樣本空間 \mathcal{C} 的子集 A 中的結果感興趣。這意味著，就我們的目的而言，樣本空間實際上變成了子集 A。我們現在面臨的問題是，如何定義一個以 A 為「新」樣本空間的機率集合函數。
令機率集合函數 P(A) 定義在樣本空間 \mathcal{C} 上，並令 A 為 \mathcal{C} 的子集，且滿足 P(A)>0。我們約定只考慮隨機實驗中屬於 A 的元素的結果；本質上，這就是將 A 視為樣本空間。令 B 為 \mathcal{C} 的另一個子集。相對於新的樣本空間 A，我們希望如何定義事件 B 的機率？一旦定義好，這個機率就稱為事件 B 在事件 A 假設下的條件機率，或簡稱為給定 A 下 B 的條件機率 (conditional probability of B, given A)。這種條件機率用符號 P(B|A) 表示。符號中的「|」通常讀作「給定 (given)」。
因為 A 現在是樣本空間，B 中我們唯一關心的元素（如果有的話）是那些同時也是 A 中元素的點，即 A\cap B 的元素。因此，似乎我們應該將符號 P(B|A) 定義為滿足 P(A|A)=1 且 P(B|A)=P(A\cap B|A)。此外，從相對頻率的觀點來看，如果我們不要求事件 A\cap B 和 A 在空間 A 中的機率比值，等於這些事件在空間 \mathcal{C} 中的機率比值，那麼在邏輯上是不一致的；也就是說，我們應該有
\frac{P(A\cap B|A)}{P(A|A)}=\frac{P(A\cap B)}{P(A)}.
這三個期望的條件暗示了條件機率的關係可合理地定義為：
定義 1.4.1 (條件機率). 令 B 和 A 為事件，且 P(A)>0。那麼我們將給定 A 下 B 的條件機率定義為
P(B|A)=\frac{P(A\cap B)}{P(A)}.
此外，我們有：
- P(B|A)\ge0.
- P(A|A)=1.
- P(\cup_{n=1}^{\infty}B_{n}|A)=\sum_{n=1}^{\infty}P(B_{n}|A)，前提是 B_{1},B_{2},... 是互斥事件。
屬性 (1) 和 (2) 是顯而易見的。對於屬性 (3)，假設事件序列 B_{1},B_{2},... 是互斥的。那麼可知 (B_{n}\cap A)\cap(B_{m}\cap A)=\phi, 對於 n\ne m。利用這一點以及可數聯集的第一個分配律 (1.2.5)，我們有
P(\cup_{n=1}^{\infty}B_{n}|A) = \frac{P[\cup_{n=1}^{\infty}(B_{n}\cap A)]}{P(A)} = \sum_{n=1}^{\infty}\frac{P(B_{n}\cap A)}{P(A)} = \sum_{n=1}^{\infty}P(B_{n}|A)。
屬性 (1)-(3) 正是一個機率集合函數必須滿足的條件。因此，P(B|A) 是一個定義在 A 的子集上的機率集合函數。
範例 1.4.1. 要從一副標準的 52 張撲克牌中隨機且不放回地發出 5 張牌。在假設手牌中至少有 4 張黑桃（事件 A）的條件下，這手牌全都是黑桃（事件 B）的條件機率為（因為 A\cap B=B）：
P(B|A)=\frac{P(B)}{P(A)}=\frac{\binom{13}{5}/\binom{52}{5}}{[\binom{13}{4}\binom{39}{1}+\binom{13}{5}]/\binom{52}{5}}
=\frac{\binom{13}{5}}{\binom{13}{4}\binom{39}{1}+\binom{13}{5}}=0.0441.
請注意，這與在抽牌撲克中抽出一張黑桃來完成同花順 (flush) 的情況不同；請見習題 1.4.3。
從條件機率集合函數的定義中，我們觀察到
P(A\cap B)=P(A)P(B|A)
這個關係式經常被稱為機率的乘法規則 (multiplication rule)。有時，在考慮了隨機實驗的性質之後，可以做出合理的假設，從而分配 P(A) 和 P(B|A)，然後可以在這些假設下計算 P(A\cap B)。這在範例 1.4.2 和 1.4.3 中進行了說明。
範例 1.4.2. 一個碗裡有八個籌碼。其中三個是紅色，其餘五個是藍色。要連續抽出兩個籌碼，隨機且不放回。我們想計算第一次抽出紅色籌碼（事件 A）且第二次抽出藍色籌碼（事件 B）的機率。分配以下機率是合理的：
P(A)=\frac{3}{8} 且 P(B|A)=\frac{5}{7}。
因此，在這些假設下，我們有 P(A\cap B)=(\frac{3}{8})(\frac{5}{7})=\frac{15}{56}=0.2679。■
範例 1.4.3. 從一副普通的撲克牌中，連續地隨機且不放回地抽出牌。第三張黑桃出現在第六次抽牌的機率計算如下。令 A 為前五次抽牌中出現兩張黑桃的事件，並令 B 為第六次抽牌出現黑桃的事件。因此我們希望計算的機率是 P(A\cap B)。採用以下機率是合理的：
P(A)=\frac{\binom{13}{2}\binom{39}{3}}{\binom{52}{5}}=0.2743 且 P(B|A)=\frac{11}{47}=0.2340.
所需的機率 P(A\cap B) 就是這兩個數字的乘積，取到小數點後四位為 0.0642。■
乘法規則可以擴展到三個或更多事件。在三個事件的情況下，我們透過對兩個事件使用乘法規則，可得
P(A\cap B\cap C)=P[(A\cap B)\cap C] = P(A\cap B)P(C|A\cap B)
因為 P(A\cap B)=P(A)P(B|A)，所以如果 P(A\cap B)>0，則
P(A\cap B\cap C)=P(A)P(B|A)P(C|A\cap B)。
這個程序可以用來將乘法規則擴展到四個或更多事件。k 個事件的一般公式可以用數學歸納法證明。
範例 1.4.4. 從一副標準撲克牌中，連續地、隨機且不放回地發出四張牌。按此順序收到黑桃、紅心、方塊和梅花的機率為 (\frac{13}{52})(\frac{13}{51})(\frac{13}{50})(\frac{13}{49})=0.0044。這是由乘法規則的擴展得出的。
考慮 k 個互斥且詳盡的事件 A_1, A_2, ..., A_k，使得 P(A_i)>0；即 A_1, A_2, ..., A_k 構成了樣本空間 \mathcal{C} 的一個分割 (partition)。令 B 為另一個事件，使得 P(B)>0。因為 B 與且僅與事件 A_1, A_2, ..., A_k 中的一個同時發生，我們有全機率公式：
P(B)=\sum_{i=1}^{k}P(A_i\cap B) = \sum_{i=1}^{k}P(A_i)P(B|A_i)
從這裡我們得到著名的貝氏定理 (Bayes' Theorem)：
P(A_j|B) = \frac{P(A_j\cap B)}{P(B)} = \frac{P(A_j)P(B|A_j)}{\sum_{i=1}^{k}P(A_i)P(B|A_i)}
範例 1.4.5. 假設已知碗 A_1 包含 3 個紅色和 7 個藍色籌碼，而碗 A_2 包含 8 個紅色和 2 個藍色籌碼。所有籌碼的大小和形狀都相同。投擲一顆骰子，如果朝上的一面出現 5 或 6 點，則選擇碗 A_1；否則，選擇碗 A_2。對於這種情況，分配 P(A_1)=\frac{2}{6} 和 P(A_2)=\frac{4}{6} 是合理的。將選中的碗交給另一個人，然後隨機取出一個籌碼。假設這個籌碼是紅色的，我們用 B 表示這個事件。考慮到碗中的內容，分配條件機率 P(B|A_1)=\frac{3}{10} 和 P(B|A_2)=\frac{8}{10} 是合理的。因此，在給定抽出紅色籌碼的情況下，該籌碼來自碗 A_1 的條件機率為
P(A_1|B) = \frac{P(A_1)P(B|A_1)}{P(A_1)P(B|A_1) + P(A_2)P(B|A_2)} = \frac{(2/6)(3/10)}{(2/6)(3/10) + (4/6)(8/10)} = \frac{6}{38}。
範例 1.4.6. 三家工廠 A_1, A_2 和 A_3 分別生產了一家公司 10%、50% 和 40% 的產量。儘管 A_1 是一家小工廠，但其經理相信高品質，其產品只有 1% 是有缺陷的。其他兩家 A_2 和 A_3 的表現較差，生產的產品分別有 3% 和 4% 是有缺陷的。所有產品被送到中央倉庫。隨機選擇一件物品並觀察到它是有缺陷的（事件 B）。它來自工廠 A_1 的條件機率如下求得。很自然地分配獲得各工廠物品的先驗機率為 P(A_1)=0.1, P(A_2)=0.5, 和 P(A_3)=0.4，而缺陷物品的條件機率為 P(B|A_1)=0.01, P(B|A_2)=0.03, 和 P(B|A_3)=0.04。因此，給定有缺陷品的情況下，A_1 的後驗機率為：
P(A_1|B) = \frac{P(A_1\cap B)}{P(B)} = \frac{(0.10)(0.01)}{(0.1)(0.01)+(0.5)(0.03)+(0.4)(0.04)} = \frac{1}{32}。
這遠小於先驗機率 P(A_1)=\frac{1}{10}。這是理所當然的，因為物品有缺陷的事實降低了它來自高品質工廠 A_1 的機會。
範例 1.4.7. 假設我們想調查某個人群中受虐兒童的百分比。感興趣的事件是：兒童受虐 (A) 及其補集兒童未受虐 (N=A^c)。為了這個範例的目的，我們假設 P(A)=0.01，因此 P(N)=0.99。關於兒童是否受虐的分類是基於醫生的檢查。因為醫生並不完美，他們有時會將受虐兒童 (A) 分類為未受虐 (N_D，其中 N_D 表示被醫生分類為未受虐)。另一方面，醫生有時會將未受虐兒童 (N) 分類為受虐 (A_D)。假設這些錯誤分類率為 P(N_D|A)=0.04 且 P(A_D|N)=0.05；因此正確決定的機率為 P(A_D|A)=0.96 且 P(N_D|N)=0.95。讓我們計算隨機抽取的一名兒童被醫生分類為受虐的機率。因為這可以透過兩種方式發生，A\cap A_D 或 N\cap A_D，我們有
P(A_D) = P(A_D|A)P(A) + P(A_D|N)P(N) = (0.96)(0.01) + (0.05)(0.99) = 0.0591，
相對於受虐兒童的機率 0.01 來說，這是相當高的。此外，當醫生將兒童分類為受虐時，該兒童確實受虐的機率為
P(A|A_D) = \frac{P(A\cap A_D)}{P(A_D)} = \frac{(0.96)(0.01)}{0.0591} = 0.1624，
這是相當低的。同樣地，當醫生將兒童分類為受虐時，該兒童並未受虐的機率為 0.8376，這是相當高的。這些機率在記錄真實情況時表現如此差的原因是，相對於人群中受虐比例 0.01，醫生的錯誤率太高了。希望這類調查能引導針對醫生分類受虐兒童的更好培訓。另見習題 1.4.17。
1.4.1 獨立性 (Independence)
有時會發生這樣的情況，事件 A 的發生不會改變事件 B 的機率；也就是說，當 P(A)>0 時，
P(B|A)=P(B)。
在這種情況下，我們說事件 A 和 B 是獨立的 (independent)。此外，乘法規則變成
P(A\cap B)=P(A)P(B|A)=P(A)P(B)。
這又暗示著，當 P(B)>0 時，
P(A|B)=\frac{P(A\cap B)}{P(B)}=\frac{P(A)P(B)}{P(B)}=P(A)。
請注意，如果 P(A)>0 且 P(B)>0，那麼由上述討論可知，獨立性等價於
P(A\cap B)=P(A)P(B)。
如果 P(A)=0 或 P(B)=0 怎麼辦？在任何一種情況下，等式右邊都是 0。然而，左邊也是 0，因為 A\cap B\subset A 且 A\cap B\subset B。因此，我們將這個方程式作為我們對獨立性的正式定義：
定義 1.4.2. 令 A 和 B 為兩個事件。我們說 A 和 B 是獨立的，如果 P(A\cap B)=P(A)P(B)。
假設 A 和 B 是獨立事件。那麼以下三對事件也是獨立的：A^c 和 B、A 和 B^c、以及 A^c 和 B^c。我們展示第一對的證明，將其他兩對留作習題 1.4.11。使用不相交聯集 B=(A^c\cap B)\cup(A\cap B)，我們有
P(A^c\cap B)=P(B)-P(A\cap B)=P(B)-P(A)P(B)=[1-P(A)]P(B)=P(A^c)P(B)。
因此，A^c 和 B 也是獨立的。
註 1.4.1. 獨立的事件有時被稱為統計獨立 (statistically independent)、隨機獨立 (stochastically independent) 或機率意義上的獨立。在大多數情況下，如果沒有誤解的可能性，我們使用「獨立」一詞而不加修飾語。
範例 1.4.8. 一顆紅色骰子和一顆白色骰子被投擲，使得朝上一面的點數是獨立事件。如果 A 代表紅骰子出現 4 點，B 代表白骰子出現 3 點，在每面出現機率相等的假設下，我們分配 P(A)=\frac{1}{6} 且 P(B)=\frac{1}{6}。因此，由獨立性可知，有序對 (紅=4, 白=3) 的機率為 (1/6)(1/6)=1/36。
相互獨立 (Mutual Independence)：三個事件 A, B 和 C 是相互獨立的，如果它們兩兩獨立（即 P(A\cap B)=P(A)P(B), P(A\cap C)=P(A)P(C), 且 P(B\cap C)=P(B)P(C)）並且 P(A\cap B\cap C)=P(A)P(B)P(C)。這可以推廣到多個事件。
範例 1.4.9. 兩兩獨立不代表相互獨立。假設我們將一個標有數字 1、2、3 和 4 的公平轉盤轉動兩次。令 A_1 為轉出數字總和為 5 的事件，令 A_2 為第一次轉出 1 的事件，令 A_3 為第二次轉出 4 的事件。那麼 P(A_i)=1/4, i=1,2,3，且對於 i\ne j, P(A_i\cap A_j)=1/16。所以這三個事件是兩兩獨立的。但 A_1\cap A_2\cap A_3 是轉出 (1,4) 的事件，其機率為 1/16 \ne 1/64 = P(A_1)P(A_2)P(A_3)。因此事件 A_1, A_2 和 A_3 不是相互獨立的。
範例 1.4.10. 一枚硬幣被獨立投擲數次。令事件 A_i 代表第 i 次投擲出現正面 (H)；因此 A_i^c 代表反面 (T)。假設 A_i 和 A_i^c 發生的機率相等；即 P(A_i)=P(A_i^c)=\frac{1}{2}。因此，類似 HHTH 這樣有序序列的機率，根據獨立性為
P(A_1\cap A_2\cap A_3^c\cap A_4) = P(A_1)P(A_2)P(A_3^c)P(A_4) = (1/2)^4 = 1/16。
同樣，第三次翻轉才觀察到第一個正面的機率為
P(A_1^c\cap A_2^c\cap A_3) = P(A_1^c)P(A_2^c)P(A_3) = (1/2)^3 = 1/8。
此外，四次翻轉中得到至少一個正面的機率為
P(A_1\cup A_2\cup A_3\cup A_4) = 1 - P[(A_1\cup A_2\cup A_3\cup A_4)^c]
= 1 - P(A_1^c\cap A_2^c\cap A_3^c\cap A_4^c) = 1 - (1/2)^4 = 15/16。
範例 1.4.11. 一個電腦系統被構建成如果組件 K_1 發生故障，它會被繞過並使用 K_2。如果 K_2 發生故障，則使用 K_3。假設 K_1 故障的機率為 0.01，K_2 故障為 0.03，K_3 故障為 0.08。此外，我們可以假設這些故障是相互獨立的事件。那麼該系統故障的機率為
(0.01)(0.03)(0.08) = 0.000024，
因為所有三個組件都必須發生故障。因此，系統不發生故障的機率為 1 - 0.000024 = 0.999976。
1.4.2 模擬 (Simulations)
本節後面的許多習題都是為了幫助讀者理解條件機率和獨立性的概念。透過勤奮和耐心，讀者將推導出確切的答案。然而，許多現實生活中的問題過於複雜，無法進行精確的推導。在這種情況下，科學家通常會轉向電腦模擬來估算答案。舉例來說，假設對於一個實驗，我們想要獲得某個事件 A 的 P(A)。編寫一個程式來執行該實驗的一次試驗，並記錄 A 是否發生。然後我們獲得該程式的 n 次獨立模擬（執行）。用 \hat{p}_n 表示這 n 次模擬中 A 發生的比例。那麼 \hat{p}_n 就是我們對 P(A) 的估計。除了 P(A) 的估計之外，我們還可以獲得一個由 1.96\sqrt{\hat{p}_n(1-\hat{p}_n)/n} 給出的估計誤差。正如我們在第 4 章中從理論上討論的，我們有 95% 的信心 P(A) 位於以下區間中：
\hat{p}_n\pm1.96\sqrt{\frac{\hat{p}_n(1-\hat{p}_n)}{n}}。
在第 4 章中，我們稱這個區間為 P(A) 的 95% 信賴區間。現在，我們在模擬中利用這個信賴區間。
範例 1.4.12. 作為一個例子，考慮以下遊戲：
人 A 擲硬幣，然後人 B 擲骰子。重複獨立進行，直到出現正面或數字 1,2,3,4 其中之一為止，此時遊戲結束。如果出現正面人 A 贏，出現 1,2,3,4 之一人 B 贏。計算人 A 贏得遊戲的機率 P(A)。
（書中展示了詳細的 R 語言函數碼 abgame 來進行此模擬，並給出了多次迴圈估算的結果，該程式碼利用 sample 函數對硬幣和骰子進行隨機抽樣，直到事件滿足條件為止。）
習題 1.4 (EXERCISES)
1.4.1. 如果 P(A_1)>0 且如果 A_2, A_3, A_4, ... 是互斥集合，證明 P(A_2 \cup A_3 \cup \cdot\cdot\cdot |A_1) = P(A_2|A_1) + P(A_3|A_1) + \cdot\cdot\cdot。
1.4.2. 假設 P(A_1\cap A_2\cap A_3)>0。證明
P(A_1\cap A_2\cap A_3\cap A_4)=P(A_1)P(A_2|A_1)P(A_3|A_1\cap A_2)P(A_4|A_1\cap A_2\cap A_3)。
1.4.3. 假設我們在玩抽牌撲克。我們（從洗好的牌組中）拿到五張牌，其中包含四張黑桃和另一張不同花色的牌。我們決定丟棄這張不同花色的牌，從剩餘的牌中抽出一張以完成黑桃同花（五張牌都是黑桃）。確定完成同花的機率。
1.4.4. 從洗好的標準撲克牌中，每次不放回地翻開四張牌。黑桃和紅牌交替出現的機率是多少？
1.4.5. 從一個裝有 4 顆紅彈珠、4 顆藍彈珠、4 顆黃彈珠和 24 顆形狀大小相同綠彈珠的翁中，隨機且不放回地抽出 12 顆彈珠。在已知至少抽出 2 顆紅彈珠的條件下，求出抽出至少 3 顆紅彈珠的條件機率。
1.4.6. 抽屜裡有 10 雙不同的襪子。如果隨機且不放回地抽出 5 隻襪子，計算這 5 隻襪子中至少有一雙配對的機率。提示：計算沒有配對襪子的機率。
1.4.7. 投擲一對骰子，直到出現點數和為 7 或 8。
(a) 證明 7 先於 8 出現的機率為 6/11。
(b) 接下來，投擲這對骰子直到 7 出現兩次，或直到 6 和 8 各自至少出現一次。證明 6 和 8 先於兩個 7 出現的機率為 0.546。
1.4.8. 在某家工廠裡，機器 I, II, III 都在生產相同長度的彈簧。機器 I, II, III 生產的有缺陷彈簧比例分別為 3%, 2%, 5%。在工廠生產的總彈簧中，機器 I 生產了 55%，機器 II 生產了 30%，機器 III 生產了 15%。
(a) 如果在特定一天生產的總彈簧中隨機選擇一個彈簧，確定它有缺陷的機率。
(b) 給定選中的彈簧有缺陷，求出它是由機器 II 生產的條件機率-。
1.4.9. 碗 I 包含 4 個紅籌碼和 6 個藍籌碼。從這 10 個籌碼中隨機且不放回地選出 6 個，放入原本是空的碗 II 中。然後從碗 II 中隨機抽出 1 個籌碼。給定這個籌碼是藍色，求出有 2 個紅籌碼和 4 個藍籌碼從碗 I 轉移到碗 II 的條件機率。
1.4.10. 辦公室裡有兩個裝隨身碟的盒子：盒子 A_1 包含 5 個 100GB 和 5 個 500GB 的隨身碟；盒子 A_2 包含 6 個 100GB 和 4 個 500GB 的隨身碟。由於位置的原因，一個人被隨機遞給一個盒子，先驗機率為 P(A_1)=1/4 和 P(A_2)=3/4。然後隨機選出一個隨身碟，如果是 500GB，則事件 B 發生。使用選中盒子中每個隨身碟被選中機率相等的假設，計算 P(A_1|B) 和 P(A_2|B)。
1.4.11. 假設 A 和 B 是獨立事件。在表達式 (1.4.6) 中我們證明了 A^c 和 B 是獨立事件。同樣地，證明以下事件對也是獨立的：(a) A 和 B^c 以及 (b) A^c 和 B^c。
1.4.12. 令 C_1 和 C_2 為獨立事件，且 P(C_1)=0.2 和 P(C_2)=0.5。計算 (a) P(C_1\cap C_2)，(b) P(C_1\cup C_2)，和 (c) P(C_1\cup C_2^c)。
1.4.13. 推廣習題 1.2.5 得到
(C_1\cup C_2\cup\cdot\cdot\cdot\cup C_k)^c = C_1^c \cap C_2^c \cap \cdot\cdot\cdot \cap C_k^c。
假設 C_1, C_2, ..., C_k 是獨立事件，其機率分別為 p_1, p_2, ..., p_k。論證至少發生一個 C_1, C_2, ..., C_k 的機率等於 1 - (1-p_1)(1-p_2)\cdot\cdot\cdot(1-p_k)。
1.4.14. 4 個人每人向目標射擊一槍。令 C_k 表示目標被第 k 個人擊中的事件，k=1,2,3,4。如果 C_1, C_2, C_3, C_4 是獨立的，且 P(C_1)=0.6, P(C_2)=P(C_3)=0.9, 且 P(C_4)=0.3，計算以下機率：(a) 所有人擊中目標；(b) 恰好一人擊中目標；(c) 沒人擊中目標；(d) 至少一人擊中目標。
1.4.15. 碗裡有 3 個紅球 (R) 和 7 個白球 (W)，它們的大小和形狀完全相同。隨機連續且有放回地選擇球，以便可以假設第一次是白球、第二次是白球等事件是獨立的。在四次試驗中，做出某些假設並計算以下有序序列的機率：(a) WWRW；(b) RWWW；(c) WWWR；以及 (d) WRWW。計算四次試驗中恰好出現一個紅球的機率。
1.4.16. 一枚硬幣被獨立投擲兩次，每次結果為反面 (T) 或正面 (H)。樣本空間由四個有序對組成：TT, TH, HT, HH。做出某些假設，計算這些有序對各自的機率。至少出現一次正面的機率是多少？
1.4.17. 針對範例 1.4.7，求出以下機率，並解釋它們在問題中的含義：(a) P(N_D); (b) P(N|A_D); (c) P(A|N_D); (d) P(N|N_D)。
1.4.18. 獨立地投擲骰子，直到第一次出現 6。如果投擲在奇數次停止，Bob 贏；否則，Joe 贏。
(a) 假設骰子是公平的，Bob 贏的機率是多少？
(b) 令 p 表示出現 6 的機率。證明對於所有 p (0
1.4.19. 從裝有 20 個紅球和 30 個綠球的盒子中隨機且放回地抽球，直到抽出紅球為止。
(a) 至少需要抽 4 次的機率是多少？
(b) 與 (a) 相同，但改為不放回抽球。
1.4.20. 一個人隨機回答兩道選擇題。如果每道題有四個可能的選項，在給定至少答對一題的條件下，兩題都答對的條件機率是多少？
1.4.21. 假設將一顆公平的 6 面骰子獨立投擲 6 次。如果在第 i 次試驗中觀察到第 i 面，則發生匹配（match），i=1,...,6。
(a) 6次投擲中至少發生一次匹配的機率是多少？提示：令 C_i 為第 i 次試驗匹配的事件，並使用習題 1.4.13 來確定所需的機率。
(b) 將 (a) 的結果推廣到公平的 n 面骰子並進行 n 次獨立投擲。然後確定當 n\rightarrow\infty 時，該機率的極限-。
1.4.22. 玩家 A 和 B 進行一系列獨立遊戲。玩家 A 先擲骰子，如果出現「6」就贏。如果他失敗，B 擲骰子，如果出現「5」或「6」就贏。如果他失敗，A 擲骰子，如果出現「4」、「5」或「6」就贏。依此類推。求每個玩家贏得該序列的機率。
1.4.23. 令 C_1, C_2, C_3 為獨立事件，其機率分別為 1/3, 2/5, 3/7。計算 P(C_1\cup C_2\cup C_3)。
1.4.24. 從一個裝有 2 個紅籌碼、4 個白籌碼和 6 個藍籌碼的碗中，隨機且不放回地抽出 3 個籌碼。給定這 3 個籌碼的樣本中至少有 2 個藍籌碼，計算其中有 0 個紅、1 個白、2 個藍籌碼的條件機率。
1.4.25. 令三個相互獨立的事件 C_1, C_2, 和 C_3 滿足 P(C_1)=P(C_2)=\frac{1}{3} 且 P(C_3)=\frac{1}{4}。求 P[(C_1^c\cap C_2^c)\cup C_3]。
1.4.26. 一個大箱子中的每個袋子包含 20 個鬱金香球莖。已知 70% 的袋子包含 8 個紅鬱金香和 12 個黃鬱金香的球莖，而其餘 30% 的袋子包含 10 個紅和 10 個黃鬱金香的球莖。隨機選取一個袋子，並從中隨機取一個球莖種下。
(a) 它是黃色鬱金香的機率是多少？
(b) 給定它是黃色，它來自包含 8 紅 12 黃球莖的袋子的條件機率是多少？
1.4.27. 進行以下遊戲。玩家從整數集合 {1,2,...,20} 中隨機抽取一個數。令 x 表示抽出的數字。接著玩家從集合 {x,...,25} 中隨機抽取。如果在第二次抽取中，他抽到的數字大於 21 則贏；否則輸。
(a) 確定給出玩家獲勝機率的總和。
(b) 撰寫並執行一行 R 程式碼來計算玩家獲勝的機率。
(c) 撰寫一個 R 函數來模擬遊戲，並回傳玩家是否獲勝。
(d) 對你在 (c) 部分的程式進行 10,000 次模擬。獲得玩家獲勝機率的估計值以及信賴區間 (1.4.7)。你的區間是否包住了真實機率？-
1.4.28. 一個碗裡有 9 個籌碼，分別標有 1,2,...,9。隨機抽出 5 個籌碼，一次一個且不放回。抽出兩個奇數籌碼且它們出現在偶數次抽取的機率是多少？
1.4.29. 一個人下注 1 美元賭 b 美元，他能從一副標準撲克牌中不放回地抽出兩張牌，並且它們是同一花色。求出使該賭局為公平的 b 值。
1.4.30. (蒙提霍爾問題)。假設有三塊布幕。其中一塊布幕後面有大獎，而另外兩塊後面則是沒有價值的獎品。參賽者隨機選擇一塊布幕，然後蒙提霍爾會打開剩下的兩塊布幕中的其中一塊，展示一個沒有價值的獎品。接著，霍爾表示願意讓參賽者將她所選的布幕與尚未打開的另一塊布幕進行交換。參賽者應該換布幕，還是堅持她原來的選擇？為了回答這個問題，請確定如果她換布幕贏得獎品的機率。
1.4.31. 一位法國貴族 Chevalier de Méré 曾請著名數學家 Pascal 解釋為什麼以下兩個機率不同（這是在多次玩遊戲後注意到的差異）：(1) 在獨立投擲一顆六面骰子 4 次中，至少出現一次 6；(2) 在獨立投擲一對骰子 24 次中，至少出現一次雙 6。從比例上看，de Méré 認為這兩個機率應該相同。請計算 (1) 和 (2) 的機率。
1.4.32. 獵人 A 和 B 射擊一個目標；擊中目標的機率分別為 p_1 和 p_2。假設相互獨立，是否可以選擇 p_1 和 p_2 使得 P(\text{零次命中}) = P(\text{一次命中}) = P(\text{兩次命中})？-
1.4.33. 在一項針對個體的研究開始時，10% 被歸類為重度吸菸者，25% 被歸類為輕度吸菸者，65% 被歸類為非吸菸者。在五年的研究中，確定重度吸菸者和輕度吸菸者的死亡率分別是非吸菸者的六倍和三倍。一位隨機選擇的參與者在五年期間死亡：計算該參與者是非吸菸者的機率。
1.4.34. 一位化學家希望檢測她正在製造的某種化合物中的雜質。有一種測試能夠以 0.80 的機率檢測出雜質；然而，大約 2% 的時間裡，當雜質不存在時，這項測試也會顯示有雜質。化學家生產的化合物中約有 25% 含有雜質。從化學家的產品中隨機選擇一種化合物。測試表明存在雜質。該化合物實際上含有雜質的條件機率是多少？
1.5 隨機變數 (Random Variables)
讀者可能會察覺，如果樣本空間 \mathcal{C} 的元素不是數字，那麼描述 \mathcal{C} 可能會非常繁瑣。我們現在討論如何制定規則，將 \mathcal{C} 中的元素 c 用數字來表示。我們以一個非常簡單的例子來開始討論。令隨機實驗為擲硬幣，並且與該實驗相關的樣本空間為 \mathcal{C}=\{H,T\}，其中 H 和 T 分別代表正面和反面。令 X 為一個函數，使得 X(T)=0 且 X(H)=1。因此，X 是一個定義在樣本空間 \mathcal{C} 上的實值函數，它將我們從樣本空間 \mathcal{C} 帶到實數空間 \mathcal{D}=\{0,1\}。我們現在給出隨機變數及其空間的定義。
定義 1.5.1. 考慮一個具有樣本空間 \mathcal{C} 的隨機實驗。一個函數 X，它為每個元素 c\in\mathcal{C} 分配唯一一個數字 X(c)=x，被稱為隨機變數 (random variable)。X 的空間 (space) 或值域 (range) 是實數集合 \mathcal{D}=\{x:x=X(c),c\in\mathcal{C}\}。
在本書中，\mathcal{D} 通常是一個可數集合或實數的區間。我們將第一種類型的隨機變數稱為離散型隨機變數 (discrete random variables)，而將第二種類型稱為連續型隨機變數 (continuous random variables)。在這兩種情況下，與 X 相關的事件只是將 \mathcal{C} 上的事件映射到 \mathcal{D} 上。例如，考慮事件 B\subset\mathcal{D}。此事件等價於 \mathcal{C} 中的事件 A=\{c\in\mathcal{C}: X(c)\in B\}。由於這是對應的事件，如果需要，X 會為 \mathcal{D} 的子集推導出機率。具體來說，令 P_X 表示所推導的機率；那麼
P_X(B) = P(A) = P(\{c\in\mathcal{C}: X(c)\in B\}).
有了這個定義，X 就不需要每次都透過樣本空間來探討，我們可以單獨研究它的性質。
如果 X 是離散型隨機變數，\mathcal{D} 是可數的。在這種情況下，我們通常會根據空間中的點來分配 X 的機率。這種函數稱為機率質量函數 (pmf)，並表示為 p_X(d_i) = P_X(\{d_i\})。接下來一節將正式定義 p_X(d_i)。那麼 X 的推導機率分佈 P_X(\cdot) 為
P_X(D) = \sum_{d_i\in D} p_X(d_i), 對於 D\subset\mathcal{D}。
正如習題 1.5.11 所示，P_X(D) 是 D 上的一個機率。這裡用一個例子會有幫助。
範例 1.5.1 (雙骰子遊戲 Craps 中的第一次投擲). 令 X 為投擲一對公平六面骰子朝上的點數總和，每顆骰子上都有 1 到 6 的數字。樣本空間為 \mathcal{C}=\{(i,j):1\le i,j\le6\}。因為骰子是公平的，P[\{(i,j)\}]=1/36。隨機變數 X 是 X(i,j)=i+j。X 的空間是 \mathcal{D}=\{2,...,12\}。透過列舉，X 的 pmf 給出如下：
P_X(x) = \begin{cases} 1/36 & x=2,12 \\ 2/36 & x=3,11 \\ 3/36 & x=4,10 \\ 4/36 & x=5,9 \\ 5/36 & x=6,8 \\ 6/36 & x=7. \end{cases}
對於 B，也就是擲出「七或十一」的事件，我們有
P_X(B) = P_X(7) + P_X(11) = 6/36 + 2/36 = 8/36。
如果 X 是一個連續型隨機變數，\mathcal{D} 是一個實數區間。我們通常可以確定一個非負的函數 f_X(x)，稱為 X 的機率密度函數 (pdf)，使得對於任何實數區間 (a,b)\subset\mathcal{D}，X 的推導機率分佈定義為：
P_X((a,b)) = \int_a^b f_X(x)dx。
這個機率正是 f_X(x) 下方在區間 (a,b) 之間的面積。
範例 1.5.2. 令從區間 (0,1) 中隨機選取一個實數。設 X 為選定的實數。我們假設隨機性意味著在 (0,1) 的任何子區間 (a,b) 中被選中的機率等於該區間的長度；即
P_X((a,b)) = b-a。
令 f_X(x)=1，對於 x\in(0,1)，其他為 0。那麼，正如讀者所見：
\int_a^b f_X(x)dx = \int_a^b 1 dx = b-a.
因此，f_X(x) 是 X 的 pdf。這個機率模型不包括離散的機率。例如，X 剛好等於常數 a 點機率為 0，因為
P(X=a) \le P(a-\frac{1}{n} < X < a+\frac{1}{n}) = \frac{2}{n}，對所有 n\ge n_0。
因為當 n\rightarrow\infty 時 2/n\rightarrow0，且 a 是任意的，我們得出對於所有 a\in(0,1)，P(X=a)=0。因此，對於這個模型的合理 pdf，排除了離散機率模型。■
註 1.5.1. 在方程 (1.5.1) 和 (1.5.2) 中，p_X 和 f_X 的下標 X 分別將 pmf 和 pdf 與該隨機變數識別起來。我們經常使用這個符號，特別是當討論中涉及幾個隨機變數時。另一方面，如果隨機變數的身份很明確，我們經常會省略下標。■
我們接下來為隨機變數定義另一個具有極重要作用的函數，被稱為累積分布函數 (cdf)。
定義 1.5.2 (累積分布函數). 令 X 是一個隨機變數。X 的累積分布函數 (cumulative distribution function, 簡稱 cdf) 定義為
F_X(x) = P_X((-\infty, x]) = P(X\le x)。
下一個例子討論了離散型隨機變數的 cdf。
範例 1.5.3. 假設我們投擲一顆標有數字 1 到 6 的公平骰子。令 X 為投擲出的點數。那麼 X 的空間是 \{1,2,...,6\} 且其 pmf 為 p_X(i)=1/6 對於 i=1,2,...,6。如果 x<1，那麼 F_X(x)=0。如果 1\le x<2，那麼 F_X(x)=1/6。依此類推，我們可以看到 X 的 cdf 是一個遞增的階梯函數 (step function)，在 X 空間的每個 i 處向上跳躍 p_X(i)。F_X 的圖形如圖 1.5.1 所示（參見原圖說明）。請注意，如果給定 cdf，我們就可以確定 X 的 pmf。■
接下來的例子討論了範例 1.5.2 中連續型隨機變數的 cdf。
範例 1.5.4 (延續範例 1.5.2). 回顧 X 表示隨機選自 0 到 1 之間的實數。我們現在獲得 X 的 cdf。首先，如果 x<0，那麼 P(X\le x)=0。其次，如果 x\ge1，那麼 P(X\le x)=1。最後，如果 0
因此 X 的 cdf 為：
F_X(x) = \begin{cases} 0 & \text{如果 } x<0 \\ x & \text{如果 } 0\le x<1 \\ 1 & \text{如果 } x\ge1. \end{cases}
X 的 cdf 的草圖在圖 1.5.2 給出。請注意，F_X(x) 與範例 1.5.2 中給出的 pdf f_X(x) 之間的關係為：
F_X(x) = \int_{-\infty}^{x} f_X(t)dt, 對於所有 x\in R
並且除了 x=0 和 x=1 之外，對於所有 x\in R，都有 \frac{d}{dx}F_X(x)=f_X(x)。■
令 X 和 Y 為兩個隨機變數。我們說 X 和 Y 同分布 (equal in distribution)，並寫成 X \overset{D}{=} Y，若且唯若 F_X(x)=F_Y(x) 對於所有 x\in R 皆成立。重要的是要注意，儘管 X 和 Y 可能同分布，但它們可能是相當不同的。例如，在上一個例子中定義隨機變數 Y=1-X。那麼 Y\ne X。但是 Y 的空間也是區間 (0,1)，與 X 相同。此外，當 y<0 時 Y 的 cdf 為 0；當 y\ge1 時為 1；對於 0\le y<1，其 cdf 為
F_Y(y) = P(Y\le y) = P(1-X\le y) = P(X\ge 1-y) = 1 - (1-y) = y。
因此，Y 與 X 擁有相同的 cdf，即 Y \overset{D}{=} X，但 Y\ne X。
圖 1.5.1 和 1.5.2 中顯示的 cdf 是具有下限 0 和上限 1 的遞增函數。在這兩張圖中，cdf 至少是右連續的。正如接下來的定理所證明的，這些屬性對於所有 cdf 通常都成立。
定理 1.5.1. 令 X 為一個具有累積分布函數 (cdf) F(x) 的隨機變數。那麼：
(a) 對於所有的 a 和 b，如果 a
(b) \lim_{x\rightarrow-\infty}F(x)=0 (F 的下極限為 0)。
(c) \lim_{x\rightarrow\infty}F(x)=1 (F 的上極限為 1)。
(d) \lim_{x\downarrow x_0}F(x)=F(x_0) (F 是右連續的)。
證明：我們證明部分 (a) 和 (d)，並將部分 (b) 和 (c) 留作習題 1.5.10。
部分 (a)：因為 a
部分 (d)：令 \{x_n\} 為實數的任何序列，使得 x_n\downarrow x_0。令 C_n=\{X\le x_n\}。那麼集合序列 \{C_n\} 是遞減的且 \cap_{n=1}^\infty C_n = \{X\le x_0\}。因此，由定理 1.3.6，
\lim_{n\rightarrow\infty}F(x_n) = \lim_{n\rightarrow\infty}P(C_n) = P(\cap_{n=1}^\infty C_n) = P(X\le x_0) = F(x_0)。
這就完成了證明。■
接下來的定理證明我們可以使用 cdf 來計算隨機變數 X 的機率。
定理 1.5.2. 令 X 為具有 cdf F_X 的隨機變數。那麼對於 a
證明：注意 \{-\infty
範例 1.5.5. 令 X 為機械零件的壽命（以年為單位）。假設 X 有 cdf：
F_X(x) = \begin{cases} 0 & x<0 \\ 1-e^{-x} & 0\le x. \end{cases}
X 的 pdf \frac{d}{dx}F_X(x) 為
f_X(x) = \begin{cases} e^{-x} & 0
實際上導數在 x=0 處不存在，但在連續情況下，下一個定理 (1.5.3) 顯示 P(X=0)=0，我們可以分配 f_X(0)=0 而不改變有關 X 的機率。零件壽命在 1 到 3 年之間的機率由下式給出：
P(1
也就是說，機率可以透過 F_X(3) - F_X(1) 或計算積分來找到。無論哪種情況，它都等於 e^{-1} - e^{-3} = 0.318。
定理 1.5.1 顯示 cdf 是右連續且單調的。可以證明這類函數只有可數個不連續點。如下一個定理所示，cdf 的不連續點具有機率質量：也就是說，如果 x 是 F_X 的不連續點，那麼我們有 P(X=x)>0。
定理 1.5.3. 對於任何隨機變數，
P[X=x] = F_X(x) - F_X(x-)
對於所有 x\in R 皆成立，其中 F_X(x-) = \lim_{z\uparrow x} F_X(z)。
證明：對於任何 x\in R，我們有
\{x\} = \cap_{n=1}^\infty (x-\frac{1}{n}, x]
也就是說，{x} 是一個遞減集合序列的極限。因此，根據定理 1.3.6，
P[X=x] = P[\cap_{n=1}^\infty \{x-\frac{1}{n} < X \le x\}] = \lim_{n\rightarrow\infty} P[x-\frac{1}{n} < X \le x]
= \lim_{n\rightarrow\infty} [F_X(x) - F_X(x-(1/n))] = F_X(x) - F_X(x-)，
這正是所需的結果。■
範例 1.5.6. 令 X 具有不連續的 cdf
F_X(x) = \begin{cases} 0 & x<0 \\ x/2 & 0\le x<1 \\ 1 & 1\le x. \end{cases}
那麼
P(-1
且
P(X=1) = F_X(1) - F_X(1-) = 1 - 1/2 = 1/2。
這個值 1/2 等於 F_X 在 x=1 處跳躍的大小。■
由於具有 pmf p_X(x) 的離散型隨機變數 X，或具有 pdf f_X(x) 的連續型隨機變數的總機率為 1，因此必須滿足
\sum_{x\in\mathcal{D}} p_X(x) = 1 或者 \int_{\mathcal{D}} f_X(x)dx = 1。
我們經常利用這一點來確定 pmf 或 pdf 中的一個指定常數。
範例 1.5.7. 假設給定函數為：
f_X(x) = \begin{cases} cx^3 & 0
其中 c 是一個常數。那麼
1 = \int_0^2 cx^3 dx = c[\frac{x^4}{4}]_0^2 = 4c，
因此，c=1/4。為了說明涉及 X 的機率計算，我們有
P(1/4 < X < 1) = \int_{1/4}^1 \frac{x^3}{4} dx = \frac{255}{4096} = 0.06226。
習題 1.5 (EXERCISES)
1.5.1. 從 30 張編號 1 到 30 的卡片中選擇一張卡片。結果 c 是這 30 個數字之一。如果 c 是質數，則令 X(c)=3；如果 c 是 4 的倍數，則令 X(c)=2；如果 c 是 9 的倍數，則令 X(c)=1；否則令 X(c)=0。假設 P 為每個結果 c 分配 \frac{1}{30} 的機率。描述在隨機變數 X 的空間 \mathcal{D}=\{0,1,2,3\} 上的推導機率 P_X(D)。
1.5.2. 對於以下每一項，找出常數 c 使得 p(x) 滿足成為一個隨機變數 X 的 pmf 的條件。
(a) p(x)=c(\frac{1}{4})^x, x=1,2,3,... 其他為 0。
(b) p(x)=cx^2, x=0,1,3,5,7，其他為 0。
1.5.3. 令 p_X(x)=x/10, x=0,1,2,3,4 其他為 0，作為 X 的 pmf。找出 P(X=2 \text{ 或 } 3), P(\frac{3}{2}
1.5.4. 令 p_X(x) 為隨機變數 X 的 pmf。找出 X 的 cdf F(x)，並繪製其圖形與 p_X(x) 的圖形，如果：
(a) p_X(x)=1, x=0 其他為 0。
(b) p_X(x)=\frac{1}{3}, x=-1,0,1，其他為 0。
(c) p_X(x)=x/15, x=1,2,3,4,5，其他為 0。
1.5.5. 讓我們從一副普通的撲克牌中隨機且不放回地選擇 5 張牌。
(a) 找出 X（這 5 張牌中紅心的數量）的 pmf。
(b) 確定 P(X\le 1)。
1.5.6. 令隨機變數 X 的機率集合函數為 P_X(D) = \int_D f(x)dx，其中 f(x)=x/8，對於 x\in\mathcal{D}=\{x:0
1.5.7. 令隨機變數 X 的空間為 \mathcal{D}=\{x:1
1.5.8. 假設隨機變數 X 有 cdf
F(x) = \begin{cases} 0 & x<-1 \\ \frac{x+2}{4} & -1\le x<1 \\ 1 & 1\le x. \end{cases}
編寫一個 R 函數來繪製 F(x) 的圖形。利用你的圖形來獲得機率：(a) P(-1/2 < X \le 1/2); (b) P(X=0); (c) P(X=1); (d) P(2 < X \le 3)。
1.5.9. 考慮一個甕，裡面裝有紙條，每張紙條上寫著 1, 2,..., 50 中的一個數字。假設寫有數字 i 的紙條共有 i 張，對於 i=1,2,...,50。例如，寫有數字 25 的紙條有 25 張。假設除了數字之外，紙條都是相同的。假設隨機抽取一張紙條。令 X 為紙條上的數字。
(a) 證明 X 有 pmf p(x)=x/1275, x=1,2,...,50，其他為 0。
(b) 計算 P(X\le 30)。
(c) 證明 X 的 cdf 是 F(x)=[x]([x]+1)/2550 對於 1\le x\le 50，其中 [x] 是小於或等於 x 的最大整數。
1.5.10. 證明定理 1.5.1 的部分 (b) 和 (c)。
1.5.11. 令 X 為一個空間為 \mathcal{D} 的隨機變數。對於 D\subset\mathcal{D}，回想由 X 誘導的機率為 P_X(D) = P[\{c: X(c)\in D\}]。藉由證明以下各項，證明 P_X(D) 是一個機率：
(a) P_X(\mathcal{D})=1。
(b) P_X(D)\ge 0。
(c) 對於 \mathcal{D} 中的一個集合序列 \{D_n\}，證明
\{c: X(c) \in \cup_n D_n\} = \cup_n \{c: X(c) \in D_n\}。
(d) 利用部分 (c) 來證明如果 \{D_n\} 是一個互斥事件序列，那麼
P_X(\cup_{n=1}^\infty D_n) = \sum_{n=1}^\infty P_X(D_n)。
1.6 離散型隨機變數 (Discrete Random Variables)
我們在上一節中遇到的第一個隨機變數範例，正是離散型隨機變數的範例，其定義如下。
定義 1.6.1（離散型隨機變數）。 如果一個隨機變數的空間是有限的 (finite) 或可數的 (countable)，我們稱其為離散型隨機變數。
範例 1.6.1。 考慮一系列獨立的擲硬幣實驗，每次結果為正面 (H) 或反面 (T)。此外，在每次投擲中，我們假設出現 H 和 T 的機率是相等的；也就是說，P(H)=P(T)=1/2。樣本空間 \mathcal{C} 由類似 TTHTHHT... 的序列組成。令隨機變數 X 等於獲得第一個正面所需的投擲次數。
因此，X(TTHTHHT...)=3。顯然，X 的空間為 \mathcal{D}=\{1,2,3,4,...\}。我們可以看到當序列以 H 開始時 X=1，因此 P(X=1)=1/2。同樣地，當序列以 TH 開始時 X=2，由獨立性可知其機率為 P(X=2)=(1/2)(1/2)=1/4。更一般地，如果 X=x（其中 x=1,2,3,4,...），那麼必定是一串 x-1 個反面後跟著一個正面；也就是 TT...TH，其中在 TT...T 裡有 x-1 個反面。因此，由獨立性我們得到一個幾何機率數列，即：
P(X=x) = (1/2)^{x-1}(1/2) = (1/2)^x, \quad x=1,2,3,... \quad (1.6.1)
其空間是可數的。一個有趣的事件是第一個正面出現在奇數次投擲上；也就是 X \in \{1,3,5,...\}。此事件的機率為：
P[X \in \{1,3,5,...\}] = \sum_{x=1}^\infty \left(\frac{1}{2}\right)^{2x-1} = \frac{1}{2} \sum_{x=1}^\infty \left(\frac{1}{4}\right)^{x-1} = \frac{1/2}{1-(1/4)} = \frac{2}{3}.
正如上一個範例所暗示的，關於離散型隨機變數的機率可以根據 x \in \mathcal{D} 的機率 P(X=x) 來獲得。這些機率決定了一個重要的函數，我們將其定義為（機率質量函數）。
同時，我們可以使用定理 1.5.3 來獲得離散型隨機變數的 pmf (機率質量函數) 與 cdf (累積分布函數) 之間的關係。如果 x \in \mathcal{S}，那麼 p_X(x) 等於 F_X 在 x 處的不連續跳躍大小。如果 x \notin \mathcal{S}，則 P[X=x]=0，因此 F_X 在這個 x 處是連續的。
範例 1.6.2。 一批包含 100 個保險絲的貨物，透過以下程序進行檢驗。從中隨機抽取 5 個保險絲進行測試；如果這 5 個都在正確的安培數下「燒斷」，則接受這批貨物。如果實際上這批貨物中有 20 個是有缺陷的保險絲，在適當的假設下，接受這批貨物的機率為：
\frac{\binom{80}{5}}{\binom{100}{5}} = 0.31931.
更一般地，令隨機變數 X 為被檢驗的五個保險絲中有缺陷的保險絲數量。X 的 pmf 給出為：
p_X(x) = \begin{cases} \frac{\binom{20}{x}\binom{80}{5-x}}{\binom{100}{5}} & x=0,1,2,3,4,5 \\ 0 & \text{其他 (elsewhere)} \end{cases} \quad (1.6.4)
顯然，X 的空間為 \mathcal{D}=\{0,1,2,3,4,5\}，這也是它的支撐集 (support)。這是一個離散型隨機變數的範例，其分佈說明了超幾何分佈 (hypergeometric distribution)，這將在第 3 章中正式定義。基於上述討論，很容易畫出 X 的 cdf 圖形；請參見習題 1.6.5。
1.6.1 轉換 (Transformations)
統計學中常遇到以下問題。我們有一個隨機變數 X，並且知道它的分佈。然而我們感興趣的是另一個隨機變數 Y，它是 X 的某種轉換，比如說 Y=g(X)。特別是，我們想確定 Y 的分佈。假設 X 是離散的，空間為 \mathcal{D}_X。那麼 Y 的空間就是 \mathcal{D}_Y=\{g(x):x\in\mathcal{D}_X\}。我們考慮兩種情況。
在第一種情況下，g 是一對一的 (one-to-one)。那麼，顯然 Y 的 pmf 可由下式獲得：
p_Y(y) = P[Y=y] = P[g(X)=y] = P[X=g^{-1}(y)] = p_X(g^{-1}(y)). \quad (1.6.5)
範例 1.6.3。 考慮範例 1.6.1 中的隨機變數 X。回顧 X 是出現第一個正面時的投擲次數。令 Y 為出現第一個正面之前的投擲次數。那麼 Y=X-1。在這種情況下，函數 g 是 g(x)=x-1，其反函數給出為 g^{-1}(y)=y+1。Y 的空間是 \mathcal{D}_Y=\{0,1,2,...\}。X 的 pmf 已知由 (1.6.1) 給出；因此，基於表達式 (1.6.5)，Y 的 pmf 為：
p_Y(y) = p_X(y+1) = \left(\frac{1}{2}\right)^{y+1} \quad \text{對於 } y=0,1,2,...
範例 1.6.4。 令 X 具有以下 pmf：
p_X(x) = \begin{cases} \frac{3!}{x!(3-x)!}\left(\frac{2}{3}\right)^x \left(\frac{1}{3}\right)^{3-x} & x=0,1,2,3 \\ 0 & \text{其他} \end{cases}
我們尋求隨機變數 Y=X^2 的 pmf p_Y(y)。轉換 y=g(x)=x^2 將 \mathcal{D}_X=\{x:x=0,1,2,3\} 映射到 \mathcal{D}_Y=\{y:y=0,1,4,9\}。一般而言，y=x^2 並不定義一個一對一轉換；但在這裡它是一對一的，因為在 \mathcal{D}_X=\{x:x=0,1,2,3\} 中沒有負的 x 值。也就是說，我們有單值反函數 x=g^{-1}(y)=\sqrt{y}（而不是 -\sqrt{y}），因此可得到其對應 pmf。
作為第二個說明，令 Z=(X-2)^2，其中 X 是範例 1.6.1 的幾何隨機變數。那麼 Z 的空間是 \mathcal{D}_Z=\{0,1,4,9,16,...\}。請注意，若且唯若 X=2 時 Z=0；若且唯若 X=1 或 X=3 時 Z=1；而對於空間中的其他值，存在由 x=\sqrt{z}+2 (對於 z\in\{4,9,16,...\}) 給出的一對一對應關係。因此，Z 的 pmf 為：
p_Z(z) = \begin{cases} p_X(2) = 1/4 & (\text{對於 } z=0) \\ p_X(1)+p_X(3) = 5/8 & (\text{對於 } z=1) \\ p_X(\sqrt{z}+2) = \frac{1}{4}\left(\frac{1}{2}\right)^{\sqrt{z}} & (\text{對於 } z=4,9,16,...) \end{cases} \quad (1.6.6)
習題 (EXERCISES) 1.6
1.6.1. 令 X 等於獨立投擲硬幣五次中正面的次數。在某些假設下，確定 X 的 pmf 並計算 X 等於偶數的機率。
1.6.2. 假設一個碗裡有八個大小和形狀相同的籌碼。這些籌碼中只有一個是紅色的。繼續從碗裡一次隨機抽取一個籌碼，不放回，直到抽出紅色籌碼為止。
(a) 找出 X（抽出紅色籌碼所需的試驗次數）的 pmf。(b) 計算 P(X>3)。
1.6.3. 獨立投擲一顆骰子，直到向上的面出現 6 為止。
(a) 找出 X（獲得第一個 6 所需的投擲次數）的 pmf p(x)。(b) 證明 \sum_{x=1}^\infty p(x) = 1。(c) 確定 P(X=1,3,5,7,...)。(d) 找出 cdf F(x)=P(X \le x)。
1.6.4. 獨立投擲一顆骰子兩次，令 X 等於兩次結果（向上的數字）之差的絕對值。找出 X 的 pmf。提示：不需要找出 pmf 的公式。
1.6.5. 對於範例 1.6.2 中定義的隨機變數 X：(a) 寫一個回傳 pmf 的 R 函數。請注意，在 R 語言中，choose(m,k) 會計算 \binom{m}{k}。(b) 寫一個回傳 cdf 圖形的 R 函數。
1.6.6. 對於範例 1.6.1 中定義的隨機變數 X，繪製 X 的 cdf 圖。
1.6.7. 令 X 的 pmf 為 p(x)=1/4，x=1,2,3,4，其他為 0。找出 Y=3X+2 的 pmf。
1.6.8. 令 X 的 pmf 為 p(x)=(2/3)(1/3)^x，x=0,1,2,...，其他為 0。找出 Y=X^3+1 的 pmf。
1.6.9. 令 X 的 pmf 為 p(x)=1/5，x=-2,-1,0,1,2。找出 Y=X^2 的 pmf。
1.6.10. 令 X 具有 pmf p(x)=(2/3)(1/3)^{|x|}，x=0,-1,-2,-3,...。找出 Y=X^4 的 pmf。
1.6.11. 證明表達式 (1.6.6) 中給出的函數是一個 pmf。
1.7 連續型隨機變數 (Continuous Random Variables)
在上一節中，我們討論了離散型隨機變數。另一個在統計應用中很重要的隨機變數類別是連續型隨機變數，我們接下來定義它。
定義 1.7.1（連續型隨機變數）。 我們稱一個隨機變數是連續型隨機變數，如果它的累積分布函數 (cdf) F_X(x) 對於所有 x\in R 都是連續函數。
（延續某累積分布函數的反函數計算範例）
F(x) = 1 - (1+5e^x)^{-.2} \quad -\infty < x < \infty,
這可以透過證明 F'(x)=f(x) 來立即確認。關於 cdf 的反函數，令 u=F(x) 並解出 u。經過幾個代數步驟可得出
F^{-1}(u) = \log\{.2[(1-u)^{-5} - 1]\}, \quad 0 < u < 1.
因此，\xi_p = F_X^{-1}(p) = \log\{.2[(1-p)^{-5} - 1]\}。以下三個 R 函數可以分別用來計算 F 的 pdf、cdf 和反 cdf。這些可以在前言中列出的網站下載。
（從 X^2 轉換求 Y 的 cdf 範例）
F_X(x) = \begin{cases} 0 & x < 0 \\ x^2 & 0 \le x < 1 \\ 1 & 1 \le x. \end{cases} \quad (1.7.10)
令 y 位於 Y 的支撐集內；即 0 < y < 1。那麼，利用表達式 (1.7.10) 以及 X 的支撐集僅包含正數的事實，Y 的 cdf 為
F_Y(y) = P(Y \le y) = P(X^2 \le y) = P(X \le \sqrt{y}) = F_X(\sqrt{y}) = (\sqrt{y})^2 = y.
圖 1.7.2：pdf (1.7.9) 的圖形，顯示了分佈的三個四分位數 q_1、q_2 和 q_3。四個部分中每個部分的機率質量均為 1/4。
F_Y(y) = \begin{cases} 0 & y < 0 \\ \int_{-\sqrt{y}}^{\sqrt{y}} \frac{1}{2} dx = \sqrt{y} & 0 \le y < 1 \\ 1 & 1 \le y. \end{cases}
因此，Y 的 pdf 給出為
f_Y(y) = \begin{cases} \frac{1}{2\sqrt{y}} & 0 < y < 1 \\ 0 & \text{其他}. \end{cases}
這些範例說明了累積分布函數 (cdf) 技術。當轉換是一對一的時候，我們可以獲得一個簡單的公式，用 X 的 pdf 來表示 Y 的 pdf，這記錄在下一個定理中。
定理 1.7.1 （內容包含雅可比部分）。從此以後，我們將 dx/dy = (d/dy)g^{-1}(y) 稱為該轉換的雅可比行列式 (Jacobian，記為 J)。在大多數數學領域中，J = dx/dy 被稱為反函數 x=g^{-1}(y) 的雅可比行列式，但在本書中為了方便起見，我們簡單地稱它為轉換的雅可比行列式。
我們在一個簡單的演算法中總結了定理 1.7.1，並在下一個範例中進行說明。假設轉換 Y=g(X) 是一對一的，以下步驟可以引導得出 Y 的 pdf：
- 找出 Y 的支撐集。
- 解出轉換的反函數；也就是說，在 y=g(x) 中用 y 來表示 x，從而獲得 x=g^{-1}(y)。
- 獲得 \frac{dx}{dy}。
- Y 的 pdf 為 f_Y(y) = f_X(g^{-1}(y)) \left| \frac{dx}{dy} \right|。
(註腳 5：定理 1.7.1 的證明也可以透過使用數學評論第 4 章中討論的變數變換技術來獲得。)
範例 1.7.6。 令 X 的 pdf 為
f(x) = \begin{cases} 4x^3 & 0 < x < 1 \\ 0 & \text{其他}. \end{cases}
考慮隨機變數 Y = -\log X。以下是上述演算法的步驟：
- Y = -\log X 的支撐集是 (0, \infty)。
- 如果 y = -\log x，那麼 x = e^{-y}。
- dx/dy = -e^{-y}。
- 因此 Y 的 pdf 為：
f_Y(y) = f_X(e^{-y}) |-e^{-y}| = 4(e^{-y})^3 e^{-y} = 4e^{-4y}.
1.7.3 離散與連續型混合分佈 (Mixtures of Discrete and Continuous Type Distributions)
我們以兩個非純離散或純連續型分佈的例子來結束本節。
範例 1.7.7。 令一個分佈函數給出為
F(x) = \begin{cases} 0 & x < 0 \\ \frac{x+1}{2} & 0 \le x < 1 \\ 1 & 1 \le x. \end{cases}
（包含一個在零點有跳躍的混合分佈，見圖 1.7.3）。
範例 1.7.8。 再保險公司關注巨大的損失，例如他們可能同意承保 2,000,000 美元到 10,000,000 美元之間的風災損失。假設 X 等於風災損失的大小（以百萬美元為單位），並假設其具有 cdf：
F_X(x) = \begin{cases} 0 & -\infty < x < 0 \\ 1 - \left(\frac{10}{10+x}\right)^3 & 0 \le x < \infty. \end{cases}
如果超過 10,000,000 美元的損失僅被報告為 10，那麼這個設限 (censored) 分佈的 cdf 為
F_Y(y) = \begin{cases} 0 & -\infty < y < 0 \\ 1 - \left(\frac{10}{10+y}\right)^3 & 0 \le y < 10 \\ 1 & 10 \le y < \infty, \end{cases}
它在 y=10 處有一個跳躍：[10/(10+10)]^3 = 1/8。
習題 (EXERCISES) 1.7
1.7.1. 令從樣本空間 \mathcal{C}=\{c:0
1.7.2. 令隨機變數 X 的空間為 \mathcal{C}=\{x:0
1.7.5. 令隨機變數 X 的機率集合函數為 P_X(C) = \int_C e^{-x} dx，其中 \mathcal{C}=\{x:0
1.7.6. 對於以下每個 X 的 pdf，求 P(|X|<1) 和 P(X^2<4)。
(a) f(x) = 3x^2/16, -2 < x < 2，其他為 0。
(b) f(x) = (x+3)/16, -1 < x < 3，其他為 0。
1.7.7. 令 f(x) = 2/x^3, 1 < x < \infty，其他為 0，作為 X 的 pdf。如果 C_1=\{x:2
1.7.8. 隨機變數 X 分佈的眾數 (mode) 是使 pdf 或 pmf 最大化的 x 值。如果只有一個這樣的 x，則稱為該分佈的眾數。找出以下每個分佈的眾數：
(a) p(x) = x/10, x=1,2,3,4，其他為 0。
(b) f(x) = x^2(3-x)/4, 0 \le x \le 2，其他為 0。
(c) f(x) = (1/9)xe^{-x/3}, 0 < x < \infty，其他為 0。
1.7.9. 關於中位數與一般分位數在 1.7.1 節已討論。找出以下各個分佈的中位數：
(a) p(x) = \frac{4!}{x!(4-x)!} (1/4)^x (3/4)^{4-x}, x=0,1,2,3,4，其他為 0。
(b) f(x) = 3x^2, 0 < x < 1，其他為 0。
(c) f(x) = \frac{1}{\pi(1+x^2)}, -\infty < x < \infty。
1.7.10. 找出具有 pdf f(x) = 3x^2, 0 < x < 1（其他為 0）的分佈的 0.30 分位數。
1.7.16. 令 X 為支撐集為 (-\infty, \infty) 的連續型隨機變數。考慮隨機變數 Y=X+\Delta，其中 \Delta > 0。證明 Y 隨機大於 (stochastically larger than) X。
1.7.17. 隨機選擇一點將一條線段分成兩部分。找出較長線段長度至少是較短線段長度兩倍的機率。假設為均勻分佈。
1.7.18. 令 X 為某個炎熱夏日某商店對冰淇淋的需求加侖數。假設 X 的 pdf 為 f(x) = (600-x)/(1.8 \times 10^5), 0 < x < 600，其他為 0。該商店每天應該準備多少加侖的冰淇淋，才能使特定一天冰淇淋售罄的機率為 0.05？
提示：考慮將 P(X^2 \le y) 分為兩種情況：0 \le y < 1 和 1 \le y < 9。
1.8 隨機變數的期望值 (Expectation of a Random Variable)
在本節中，我們將介紹期望值運算子，我們將在本書剩餘部分使用它。對於定義，回顧微積分中，總和或積分的絕對收斂意味著它們的收斂。
定義 1.8.1 (期望值)。 令 X 是一個隨機變數。如果 X 是具有 pdf f(x) 的連續型隨機變數，且絕對積分收斂，那麼 X 的期望值為 E(X)。常數 k 的期望值為：
E(k) = kp(k) = k. \quad (1.8.1)
範例 1.8.2。 令離散型隨機變數 X 的 pmf 由下表給出：
| x | 1 | 2 | 3 | 4 |
|---|---|---|---|---|
| p(x) | 4/10 | 1/10 | 3/10 | 2/10 |
這裡如果 x 不等於前四個正整數之一，則 p(x)=0。這說明了不需要有公式來描述 pmf。我們有
E(X) = (1)(4/10) + (2)(1/10) + (3)(3/10) + (4)(2/10) = 23/10 = 2.3.
範例 1.8.3。 令連續型隨機變數 X 的 pdf 為
f(x) = \begin{cases} 4x^3 & 0 < x < 1 \\ 0 & \text{其他}. \end{cases}
那麼
E(X) = \int_0^1 x(4x^3)dx = \int_0^1 4x^4 dx = \left. \frac{4x^5}{5} \right|_0^1 = \frac{4}{5}.
註 1.8.1。 期望值 (expectation 或 expected value) 這個術語起源於機會遊戲。例如，考慮一個包含上面標有數字 1、2、3 和 4 的轉盤遊戲。假設轉出這些數字的相應機率為 0.20、0.30、0.35 和 0.15。為了開始遊戲，玩家需支付 $5 給「莊家」。然後轉動轉盤，玩家「贏得」表格第二行中的金額：
| 轉出的數字 x | 1 | 2 | 3 | 4 |
|---|---|---|---|---|
| 贏得 | $2 | $3 | $4 | $12 |
| G = 增益 (Gain) | -$3 | -$2 | -$1 | $7 |
| p_G(x) | 0.20 | 0.30 | 0.35 | 0.15 |
「贏得」帶有引號，因為玩家必須支付 5 來玩。當然，感興趣的隨機變數是玩家的增益；即 G 的範圍如表格第三行所示。請注意，20% 的情況下玩家的增益為 -3；30% 的情況下玩家的增益為 -2；35% 的情況下玩家的增益為 -1；而 15% 的情況下玩家的增益為 $7。在數學上，這句話被表達為機率的計算。
定理 1.8.1 的證明（離散情況）： 連續情況的證明需要分析學中的一些進階結果；請參閱習題 1.8.1。
因為 \sum_{x\in\mathcal{S}_X} |g(x)|p_X(x) 收斂，由微積分中的一個定理可知，級數項的任何重新排列都會收斂到相同的極限。因此我們有，
\sum_{x\in\mathcal{S}_X} |g(x)|p_X(x) = \sum_{y\in\mathcal{S}_Y} \sum_{\{x\in\mathcal{S}_X: g(x)=y\}} |g(x)|p_X(x)
= \sum_{y\in\mathcal{S}_Y} |y| \sum_{\{x\in\mathcal{S}_X: g(x)=y\}} p_X(x)
= \sum_{y\in\mathcal{S}_Y} |y|p_Y(y); \quad (1.8.6)
其中 \mathcal{S}_Y 表示 Y 的支撐集。因此 E(Y) 存在；即 \sum_{x\in\mathcal{S}_X} g(x)p_X(x) 收斂。因為該級數絕對收斂，同樣的定理可用來證明等式在沒有絕對值的情況下也成立。因此，E(Y) = \sum_{x\in\mathcal{S}_X} g(x)p_X(x)，這正是期望的結果。
範例 1.8.4。 令 Y 為範例 1.6.3 中討論的離散型隨機變數，並令 Z = e^{-Y}。由於 (2e)^{-1} < 1，由定理 1.8.1 可知
E[Z] = E[e^{-Y}] = \sum_{y=0}^\infty e^{-y} \left(\frac{1}{2}\right)^{y+1} = e \sum_{y=0}^\infty \left(\frac{1}{2}e^{-1}\right)^{y+1} = \frac{1}{2} \frac{1}{1 - (1/2)e^{-1}} = \frac{e}{2e-1}.
定理 1.8.2 的證明： 對於連續情況，存在性可從假設、三角不等式以及積分的線性性質得出；即
\int_{-\infty}^\infty |k_1 g_1(x) + k_2 g_2(x)| f_X(x)dx \le |k_1| \int_{-\infty}^\infty |g_1(x)| f_X(x)dx + |k_2| \int_{-\infty}^\infty |g_2(x)| f_X(x)dx < \infty.
期望值的線性加法結果 (1.8.7) 類似地透過積分的線性性質得出。離散情況的證明則使用總和的線性性質。
範例 1.8.6。 令 X 具有 pdf
f(x) = \begin{cases} 2(1-x) & 0 < x < 1 \\ 0 & \text{其他}. \end{cases}
那麼
E(X) = \int_0^1 x(2(1-x))dx = \frac{1}{3}, \quad E(X^2) = \int_0^1 x^2(2(1-x))dx = \frac{1}{6},
而且當然，E(6X + 3X^2) = 6(1/3) + 3(1/6) = 5/2.
範例 1.8.7。 令 X 具有 pmf
p(x) = \begin{cases} x/6 & x = 1,2,3 \\ 0 & \text{其他}. \end{cases}
那麼
E(6X^3 + X) = 6E(X^3) + E(X) = 6\sum_{x=1}^3 x^3 p(x) + \sum_{x=1}^3 x p(x) = \frac{301}{3}.
這也意味著，一般而言，乘積的期望值不等於期望值的乘積。
1.8.1 用於估計預期增益的 R 計算
在接下來的例子中，我們使用一個 R 函數來估計一個簡單遊戲中的預期增益。
範例 1.8.9。 考慮以下遊戲。玩家支付 p_0 來玩。然後他擲出一顆公正的 6 面骰子，數字從 1 到 6。如果朝上的面是 1 或 2，則遊戲結束。否則，他擲出一枚公正的硬幣。如果硬幣擲出反面，他會收到 1 美元，遊戲結束。另一方面，如果硬幣擲出正面，他從一副標準的 52 張撲克牌中不放回地抽出 2 張牌。如果這兩張牌都不是 A (Ace)，他會收到 2 美元；如果他抽到 1 或 2 張 A，他將分別收到 10 美元或 50 美元。在這兩種情況下，遊戲都結束。
令 G 代表玩家的增益。為了確定預期增益，我們需要 G 的分佈。G 的支撐集是 \{-p_0, 1-p_0, 2-p_0, 10-p_0, 50-p_0\}。對於相關的機率，我們需要 X 的分佈，其中 X 是從一副 52 張撲克牌中不放回地抽出 2 張牌時 A 的數量。分佈為：
P(X=x) = \frac{\binom{4}{x}\binom{48}{2-x}}{\binom{52}{2}}, \quad x=0,1,2.
使用這個公式，取到小數點後四位，x 等於 0、1 和 2 時的機率分別為 0.8507、0.1448 和 0.0045。利用這些機率和獨立性，可以確定 G 的分佈和期望值；見習題 1.8.13。然而，假設一個人沒有這種專業知識。他可以觀察遊戲許多次，然後使用觀察到的增益的平均值作為他對 E(G) 的估計。為計算這個估計值，我們使用名為 simplegame 的 R 函數：
(R 代碼執行)
amtpaid <- 5; numtimes <- 10000; gains <- c()
for(i in 1:numtimes) {gains <- c(gains, simplegame(amtpaid))}
mean(gains)
當我們執行這個腳本時，我們得到 -3.5446 作為我們對 E(G) 的估計。理論上 E(G) = -3.54。
習題 (EXERCISES) 1.8
1.8.1. 我們對定理 1.8.1 的證明是針對離散情況。如果此外函數 g(x) 是一對一的，請證明該結果對於連續情況成立。
1.8.2. 考慮範例 1.8.5 中的隨機變數 X。透過找出 Y 的 pdf 並使用它來獲得 E(Y)，以驗證定理 1.8.1 找到的結果。
1.8.3. 令 X 具有 pdf f(x)=(x+1)/8，-1
1.8.4. 假設 p(x)=1/4，x=1,2,3,4，其他為 0。計算 E(X) 和 E(X^2)。求 E[(X-1)^2]。
1.8.8. 一個碗裡有 8 個籌碼，其中 6 個各標記為 2，2 個各標記為 5。隨機不放回選擇四個，求總金額期望值。
1.8.9. 令 f(x)=3x^2，0
1.8.10. 從前六個正整數中隨機不放回地選擇兩個不同的整數。計算這兩個數字差的絕對值的期望值。
1.8.14. 盲抽五個籌碼（三個標1，兩個標4）的遊戲期望值。
1.9 一些特殊的期望值 (Some Special Expectations)
某些期望值，如果它們存在的話，有特殊的名稱和符號來表示它們。首先，令 X 為一個具有 pmf p(x) 的離散型隨機變數。那麼 E(X) = \sum_x x p(x)。這個乘積的總和可以被看作是這些值的「加權平均數」，每個 a_i 相關的「權重」是 p(a_i)。這建議我們將 E(X) 稱為 X 值的算術平均數，或更簡單地稱為 X 的平均值 (mean value)。
（動差生成函數範例）
p(x) = \frac{1}{3} \left(\frac{2}{3}\right)^{x-1}, \quad x=1,2,3,...
那麼，使用幾何級數，X 的 動差生成函數 (mgf) 是
M(t) = E(e^{tX}) = \sum_{x=1}^\infty e^{tx} \frac{1}{3} \left(\frac{2}{3}\right)^{x-1} = \frac{1}{3}e^t \sum_{x=1}^\infty \left(e^t \frac{2}{3}\right)^{x-1} = \frac{1}{3}e^t \left(1 - e^t \frac{2}{3}\right)^{-1}
條件是 e^t(2/3) < 1，也就是 t < \log(3/2)。因為這包含 0 的開區間，X 的 mgf 存在。
如果我們討論多個隨機變數，我們通常會加上下標 M_X(t)。mgf 唯一地識別分佈。
定理 1.9.2. 令 X 和 Y 分別為具有動差生成函數 M_X 和 M_Y 的隨機變數，它們存在於 0 附近的開區間內。那麼對於所有 z \in R，F_X(z) = F_Y(z) 的充要條件是，對於某個 h>0，當 t \in (-h, h) 時，M_X(t) = M_Y(t)。
對於離散的情況：
M(t) = \frac{1}{10}e^t + \frac{2}{10}e^{2t} + \frac{3}{10}e^{3t} + \frac{4}{10}e^{4t}
對比 M(t) = \sum_x e^{tx}p(x)，可以明顯得到 p(1)=1/10, p(2)=2/10, p(3)=3/10, p(4)=4/10。這顯示了唯一性。
從 M(t) 的麥克勞林級數 (Maclaurin's series) 中，(t^m/m!) 的係數恰好是 E(X^m)。例如：
E(X^{2k}) = \frac{(2k)!}{2^k k!}, \quad k=1,2,3,... \quad (1.9.3)
E(X^{2k-1}) = 0, \quad k=1,2,3,... \quad (1.9.4)
註 1.9.1。 分佈可能沒有動差生成函數。在更進階的課程中，我們會用 i 表示虛數單位，t 為任意實數，並且定義 \varphi(t)=E(e^{itX})。這個期望值對每個分佈都存在，它被稱為分佈的特徵函數 (characteristic function)。每個分佈都有一個獨特的特徵函數；每個特徵函數也對應一個獨特的分佈。如果 E(X) 和 E(X^2) 存在，它們分別由 iE(X) = \varphi'(0) 和 i^2 E(X^2) = \varphi''(0) 給出。那些學習過拉普拉斯變換和傅立葉變換的人會注意到這些變換與 M(t) 和 \varphi(t) 之間的相似性；正是這些變換的唯一性，保證了特徵函數的唯一性。
習題 (EXERCISES) 1.9
1.9.1. 找出下列每個分佈的平均數和變異數（如果存在）。
(a) p(x) = \frac{3!}{x!(3-x)!}(1/2)^3，x=0,1,2,3。
(b) f(x) = 6x(1-x)，0
(c) f(x) = 2/x^3，1
1.9.2. 求 pmf 為 p(x) = (2/3)(1/3)^x 的 mgf、均值與變異數。
1.9.3. 計算 P(\mu - 1.5\sigma < X < \mu + 1.5\sigma)。
1.9.4. 如果變異數存在，證明 E(X^2) \ge [E(X)]^2。
1.9.5. 證明對稱分佈的均值為其對稱中心 c。
1.9.6. 證明標準化隨機變數的均值為 0、變異數為 1。
1.9.11. 證明 K^{(m)}(1) 等於第 m 個階乘動差 E[X(X-1)...(X-m+1)]。
1.9.14. 比值 E[(X-\mu)^3]/\sigma^3 常被用作偏度 (skewness) 的測量。
1.9.15. 比值 E[(X-\mu)^4]/\sigma^4 常被用作峰度 (kurtosis) 的測量。
1.9.17. 令 \psi(t) = \log M(t)，證明 \psi'(0) = \mu 並且 \psi''(0) = \sigma^2。函數 \psi(t) 被稱為累積量生成函數 (cumulant generating function)。
1.9.20. 拉普拉斯分佈 (Laplace distribution) f(t) = \frac{1}{2}e^{-|t|}。證明其 mgf 為 (1-t^2)^{-1} 並找出所有動差。
1.10 重要的不等式 (Important Inequalities)
在本節中，我們討論一些涉及期望值的著名不等式。
定理 1.10.1。 令 X 為一個隨機變數，令 m 為正整數。假設 E[X^m] 存在。如果 k 是一個正整數且 k \le m，那麼 E[X^k] 存在。
證明： 我們證明連續的情況（離散情況可將積分替換為總和）。令 f(x) 為 X 的 pdf。那麼
\int_{-\infty}^\infty |x|^k f(x)dx = \int_{|x|\le 1} |x|^k f(x)dx + \int_{|x|>1} |x|^k f(x)dx
\le \int_{|x|\le 1} f(x)dx + \int_{|x|>1} |x|^m f(x)dx \le 1 + E[|X|^m] < \infty, \quad (1.10.1)
這正是所期望的結果。
定理 1.10.2（馬可夫不等式 Markov's Inequality）。 令 u(X) 為隨機變數 X 的非負函數。如果 E[u(X)] 存在，那麼對於每個正數常數 c，P[u(X) \ge c] \le E[u(X)]/c。
範例 1.10.4（調和與幾何平均數）。 令 \{a_1, ..., a_n\} 為一組正數。透過賦予權重 1/n 建立隨機變數 X 分佈。X 的平均數就是算術平均數 (AM)，E(X) = n^{-1}\sum_{i=1}^n a_i。因為 -\log x 是凸函數，由簡森不等式 (Jensen's inequality) 我們有
-\log\left(\frac{1}{n}\sum_{i=1}^n a_i\right) \le E(-\log X) = -\frac{1}{n}\sum_{i=1}^n \log a_i = -\log(a_1 a_2 ... a_n)^{1/n}
或等價地，
\log\left(\frac{1}{n}\sum_{i=1}^n a_i\right) \ge \log(a_1 a_2 ... a_n)^{1/n},
因此，
(a_1 a_2 ... a_n)^{1/n} \le \frac{1}{n}\sum_{i=1}^n a_i. \quad (1.10.6)
左邊的量稱為幾何平均數 (GM)。所以 (1.10.6) 等同於證明了 GM \le AM。
如果用 1/a_i 取代 a_i（它也是正的），我們得到：
\frac{1}{\frac{1}{n}\sum_{i=1}^n \frac{1}{a_i}} \le (a_1 a_2 ... a_n)^{1/n}. \quad (1.10.7)
左邊稱為調和平均數 (HM)。將 (1.10.6) 和 (1.10.7) 放在一起，我們證明了：
HM \le GM \le AM \quad (1.10.8)
這適用於任何有限的正數集。
習題 (EXERCISES) 1.10
1.10.1. 令 X 為平均數為 \mu 的隨機變數，令 E[(X-\mu)^{2k}] 存在。證明，若 d>0，則 P(|X-\mu| \ge d) \le E[(X-\mu)^{2k}]/d^{2k}。這基本上是 k=1 時的柴比雪夫不等式，此推廣對提供 P(|X-\mu| \ge d) 的更小上界非常有用。
1.10.2. 令 X 使得 P(X \le 0)=0，令 \mu=E(X) 存在。證明 P(X \ge 3\mu) \le 1/3。
1.10.3. 如果 E(X)=4 且 E(X^2)=25，使用柴比雪夫不等式確定機率 P(-2 < X < 10) 的下界。
1.10.4. 假設 X 具有 pdf 為 (1.9.20) 的拉普拉斯分佈。證明均值和變異數分別為 0 和 2。使用柴比雪夫不等式確定 P(|X| \ge 4) 的上界並與精確機率比較。
1.10.5. 證明對於具有 mgf 的 X，P(X \ge a) \le e^{-at}M(t) (0
1.10.6. X 的 mgf 給出為 M(t) = \frac{e^t - e^{-t}}{2t} (t \ne 0)。證明 P(X \ge 1)=0 且 P(X \le -1)=0。
1.10.7. 令 X 為正隨機變數。論證 (a) E(1/X) \ge 1/E(X)；(b) E[-\log X] \ge -\log[E(X)]；(c) E[\log(1/X)] \ge \log[1/E(X)]；(d) E[X^3] \ge [E(X)]^3。
沒有留言:
張貼留言