CS 229 - 機率和統計回顧

機率和統計回顧. Star13,186. 原創內容Afshine Amidi 和Shervine Amidi 翻譯: kevingo. 審閱: ... ShervineAmidi關於項目教學博客關於AfshineAmidi   CS229-機器學習機率和統計介紹樣本空間事件排列條件機率貝氏定理獨立性隨機變數定義期望值變異數機率分佈柴比雪夫不等式主要分佈聯合分佈隨機變數密度共變異數相關參數估計平均數變異數前往GitHub閱讀PDF版本 CS229-機器學習 العربية English Español فارسی Français 한국어 Português Türkçe TiếngViệt 简中 繁中  機率和統計 線性代數與微積分 機率和統計回顧 Star 原創內容AfshineAmidi和ShervineAmidi 翻譯:kevingo.審閱:徐承漢. 幾率與組合數學介紹 樣本空間一個實驗的所有可能結果的集合稱之為這個實驗的樣本空間，記做$S$ 事件樣本空間的任何子集合$E$被稱之為一個事件。

也就是說，一個事件是實驗的可能結果的集合。

如果該實驗的結果包含$E$，我們稱我們稱$E$發生 機率公理對於每個事件$E$，我們用$P(E)$表示事件$E$發生的機率 公理1―每一個機率值介於0到1之間，包含兩端點。

即： \[\boxed{0\leqslantP(E)\leqslant1}\] 公理2―至少一個基本事件出現在整個樣本空間中的機率是1。

即： \[\boxed{P(S)=1}\] 公理3―對於任何互斥的事件$E_1,...,E_n$，我們定義如下： \[\boxed{P\left(\bigcup_{i=1}^nE_i\right)=\sum_{i=1}^nP(E_i)}\] 排列排列指的是從$n$個相異的物件中，取出$r$個物件按照固定順序重新安排，這樣安排的數量用$P(n,r)$來表示，定義為： \[\boxed{P(n,r)=\frac{n!}{(n-r)!}}\] 組合組合指的是從$n$個物件中，取出$r$個物件，但不考慮他的順序。

這樣組合要考慮的數量用$C(n,r)$來表示，定義為： \[\boxed{C(n,r)=\frac{P(n,r)}{r!}=\frac{n!}{r!(n-r)!}}\] 注意：對於$0\leqslantr\leqslantn$，我們會有$P(n,r)\geqslantC(n,r)$ 條件機率 貝氏定理對於事件$A$和$B$滿足$P(B)>0$時，我們定義如下： \[\boxed{P(A|B)=\frac{P(B|A)P(A)}{P(B)}}\] 注意：$P(A\capB)=P(A)P(B|A)=P(A|B)P(B)$ 分割令$\{A_i,i\in[\![1,n]\!]\}$對所有的$i$，$A_i\neq\varnothing$，我們說$\{A_i\}$是一個分割，當底下成立時： \[\boxed{\foralli\neqj,A_i\capA_j=\emptyset\quad\textrm{and}\quad\bigcup_{i=1}^nA_i=S}\] 注意：對於任何在樣本空間的事件$B$來說，$\displaystyleP(B)=\sum_{i=1}^nP(B|A_i)P(A_i)$ 貝氏定理的擴展令$\{A_i,i\in[\![1,n]\!]\}$為樣本空間的一個分割，我們定義： \[\boxed{P(A_k|B)=\frac{P(B|A_k)P(A_k)}{\displaystyle\sum_{i=1}^nP(B|A_i)P(A_i)}}\] 獨立當以下條件滿足時，兩個事件$A$和$B$為獨立事件： \[\boxed{P(A\capB)=P(A)P(B)}\] 隨機變數 定義 隨機變數一個隨機變數$X$，它是一個將樣本空間中的每個元素映射到實數域的函數 累積分佈函數(CDF)累積分佈函數$F$是單調遞增的函數，其$\underset{x\rightarrow-\infty}{\textrm{lim}}F(x)=0$且$\underset{x\rightarrow+\infty}{\textrm{lim}}F(x)=1$，定義如下： \[\boxed{F(x)=P(X\leqslantx)}\] 注意：$P(a0$，我們有以下不等式： \[\boxed{P(|X-\mu|\geqslantk\sigma)\leqslant\frac{1}{k^2}}\] 主要的分佈底下是我們需要熟悉的幾個主要的不等式： 種類 分佈 PDF $\psi(\omega)$ $E[X]$ $\textrm{Var}(X)$ Illustration (D) $X\sim\mathcal{B}(n,p)$ $\displaystyle\displaystyle\binom{n}{x}p^xq^{n-x}$ $(pe^{i\omega}+q)^n$ $np$ $npq$ (D) $X\sim\textrm{Po}(\mu)$ $\displaystyle\frac{\mu^x}{x!}e^{-\mu}$ $e^{\mu(e^{i\omega}-1)}$ $\mu$ $\mu$ (C) $X\sim\mathcal{U}(a,b)$ $\displaystyle\frac{1}{b-a}$ $\displaystyle\frac{e^{i\omegab}-e^{i\omegaa}}{(b-a)i\omega}$ $\displaystyle\frac{a+b}{2}$ $\displaystyle\frac{(b-a)^2}{12}$ (C) $X\sim\mathcal{N}(\mu,\sigma)$ $\displaystyle\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}$ $e^{i\omega\mu-\frac{1}{2}\omega^2\sigma^2}$ $\mu$ $\sigma^2$ (C) $X\sim\textrm{Exp}(\lambda)$ $\displaystyle\lambdae^{-\lambdax}$ $\displaystyle\frac{1}{1-\frac{i\omega}{\lambda}}$ $\displaystyle\frac{1}{\lambda}$ $\displaystyle\frac{1}{\lambda^2}$ 聯合分佈隨機變數 邊緣密度和累積分佈從聯合密度機率函數$f_{XY}$中我們可以得到： 種類 邊緣密度函數 累積函數 (D) $\displaystylef_X(x_i)=\sum_{j}f_{XY}(x_i,y_j)$ $\displaystyleF_{XY}(x,y)=\sum_{x_i\leqslantx}\sum_{y_j\leqslanty}f_{XY}(x_i,y_j)$ (C) $\displaystylef_X(x)=\int_{-\infty}^{+\infty}f_{XY}(x,y)dy$ $\displaystyleF_{XY}(x,y)=\int_{-\infty}^x\int_{-\infty}^yf_{XY}(x',y')dx'dy'$ 條件密度$X$對於$Y$的條件密度，通常用$f_{X|Y}$表示如下： \[\boxed{f_{X|Y}(x)=\frac{f_{XY}(x,y)}{f_Y(y)}}\] 獨立當滿足以下條件時，我們稱隨機變數$X$和$Y$互相獨立： \[\boxed{f_{XY}(x,y)=f_X(x)f_Y(y)}\] 共變異數我們定義隨機變數$X$和$Y$的共變異數為$\sigma_{XY}^2$或$\textrm{Cov}(X,Y)$如下： \[\boxed{\textrm{Cov}(X,Y)\triangleq\sigma_{XY}^2=E[(X-\mu_X)(Y-\mu_Y)]=E[XY]-\mu_X\mu_Y}\] 相關性我們定義$\sigma_X$、$\sigma_Y$為$X$和$Y$的標準差，而$X$和$Y$的相關係數$\rho_{XY}$定義如下： \[\boxed{\rho_{XY}=\frac{\sigma_{XY}^2}{\sigma_X\sigma_Y}}\] 注意一：對於任何隨機變數X和Y來說，$\rho_{XY}\in[-1,1]$成立 注意二：當$X$和$Y$獨立時，$\rho_{XY}=0$ 參數估計 定義 隨機抽樣隨機抽樣指的是$n$個隨機變數$X_1,...,X_n$和$X$獨立且同分佈的集合 估計量估計量是一個資料的函數，用來推斷在統計模型中未知參數的值 偏差一個估計量的偏差$\hat{\theta}$定義為$\hat{\theta}$分佈期望值和真實值之間的差距： \[\boxed{\textrm{Bias}(\hat{\theta})=E[\hat{\theta}]-\theta}\] 注意：當$E[\hat{\theta}]=\theta$時，我們稱為不偏估計量 預估平均數 樣本平均一個隨機樣本的樣本平均是用來預估一個分佈的真實平均$\mu$，通常我們用$\overline{X}$來表示，定義如下： \[\boxed{\overline{X}=\frac{1}{n}\sum_{i=1}^nX_i}\] 注意：當$E[\overline{X}]=\mu$時，則為不偏樣本平均 中央極限定理當我們有一個隨機樣本$X_1,...,X_n$滿足一個給定的分佈，其平均數為$\mu$，變異數為$\sigma^2$，我們有： \[\boxed{\overline{X}\underset{n\rightarrow+\infty}{\sim}\mathcal{N}\left(\mu,\frac{\sigma}{\sqrt{n}}\right)}\] 估計變異數 樣本變異數一個隨機樣本的樣本變異數是用來估計一個分佈的真實變異數$\sigma^2$，通常使用$s^2$或$\hat{\sigma}^2$來表示，定義如下： \[\boxed{s^2=\hat{\sigma}^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2}\] 注意：當$E[s^2]=\sigma^2$時，稱之為不偏樣本變異數 與樣本變異數的卡方關聯令$s^2$是一個隨機樣本的樣本變異數，我們可以得到： \[\boxed{\frac{s^2(n-1)}{\sigma^2}\sim\chi_{n-1}^2}\]