貝氏定理（Bayes Theorem）
\[P(A|B)=\frac{P(A \cap B)}{P(B)}=\frac{P(B|A) \times P(A)}{P(B)}\]
其中\(P(A|B)\)是已知\(B\)發生的情況下, \(A\)發生的機率, 稱作\(A\)的事後機率或後驗機率(posterior probability)
而\(P(A)\), \(P(B)\)稱作事前機率或先驗機率(prior probability)
\(P(B|A)\)是已知\(A\)發生的情況下, \(B\)發生的機率, 在此稱作概似函數(likelihood function)
可以把貝氏定理理解成:
\[ 後驗機率 = \frac{ {概似函數} \times {先驗機率} }{標準化常量} \]
\[P(A|B)=\frac{P(B|A) \times P(A)}{P(B)}\]
貝氏統計
相對於之前介紹的MLE是頻率學派的點估計, 其分布的參數是固定值, 貝式學派自成一格, 它將分布的參數視為一個隨機變數, 也就是每個參數來自一個機率分布, 而非固定值
因此貝氏統計中不但可以算樣本統計量的機率, 還可以算參數的機率
假設\(X\)服從分布pdf 為\(P(x|\theta)\), 利用貝氏定理寫成連續的形式:
\[f_{x|\theta}(\theta)=\frac{ f(x_1,...,x_n|\theta) f_{\theta}(\theta)}{\int \ f(x_1,...,x_n|\theta) f_{\theta}(\theta)\ d\theta}\]
其中, \(f_{x|\theta}(\theta)\) : 後驗機率 \(f(x_1,...,x_n|\theta)\) : 概似函數 \(f_{\theta}(\theta)\) : 先驗機率 \(\int \ f(x_1,...,x_n|\theta) f_{\theta}(\theta)\ d\theta\) : 標準化常量
若假設樣本為常態分佈:
\[ X_1, X_2, ..., X_n \sim i.i.d.\ N(\mu, \sigma^2) \]
假設\(\mu\)未知, \(\sigma^2\)已知 試用貝氏統計來估計\(\mu\)
假設\(\mu \sim N(\mu_{0}, \sigma_{0}^2)\)是一個normal distribution, 則\(\mu\)的pdf可以寫成:
\[ f(\mu)=\frac{1}{\sqrt{2\pi\sigma_{0}^2} } \ exp(- \frac{(\mu-\mu_{0})^2}{2\sigma_{0}^2})\]
樣本的pdf可以寫成: \[ f(x_1,...,x_n|\mu)=\frac{1}{ {(2\pi\sigma^2)}^{\frac{n}{2}} }\ exp(- \frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2})\]
兩者的joint probability為:
\[f(x_1,...,x_n,\mu) = \frac{1}{ {(2\pi\sigma^2)}^{\frac{n}{2}} \sqrt{2\pi\sigma_{0}^2} }\ exp(- \frac{\sum_{i=1}^n(x_i-\mu)^2}{2\sigma^2} - \frac{(\mu-\mu_{0})^2}{2\sigma_{0}^2})\]
上式經過整理得到:
\[f(x_1,...,x_n,\mu) =\frac{1}{\sqrt{2\pi\sigma_{post}^2} } \ exp(- \frac{(\mu-\mu_{post})^2}{2\sigma_{post}^2})\ h(x_1,...,x_n,\sigma, \mu_0, \sigma_0)\]
上式整理過程中, 與\(\mu\)沒有相關的函數一律包含進\(h\)函數中
因此後驗機率可以得到:
\[f(\mu|x_1,...,x_n) =\frac{1}{\sqrt{2\pi\sigma_{post}^2} } \ exp(- \frac{(\mu-\mu_{post})^2}{2\sigma_{post}^2})\ h'(x_1,...,x_n,\sigma, \mu_0, \sigma_0)\]
上式整理過程中, 由於\(x_1,...,x_n\)與\(\mu\)沒有相關, \(h\)函數也與\(\mu\)沒有相關 , 與\(\mu\)沒有相關的函數一律再把它包含進\(h'\)函數中
發現假設\(\mu\)的先驗機率為常態分佈下, \(\mu\)的後驗機率也是一個常態分布, 其參數為:
\[\mu_{post}=\frac{\frac{\sigma^2}{n}\mu_0+\sigma_0^2 \bar{x}}{\sigma_0^2+\frac{\sigma^2}{n}}\]
\[\sigma_{post}^2=(\frac{1}{\sigma_0^2}+\frac{1}{\sigma^2/n})^{-1}(\frac{\sigma_0^2(\sigma^2/n)}{\sigma_0^2+\sigma^2/n})\]
用網站seeing theory可以互動式的去了解統計 