機率式算法

蒙地卡羅演算法 (Monte Carlo Algorithm)

利用亂數隨機抽樣的方式以計算某種解答的演算法，被稱為蒙地卡羅演算法，其中最簡單的方法是直接取樣算法。

舉例而言，假如我們不知道半徑為 1 的圓形面積，那麼就可以利用亂數隨機取樣 1百萬個 X=random[-1...1], Y=random[-1...1] 之間的的值，然後看看有多少點落在 $x^2 + y^2 <=1$ 的範圍之內 P(in circle)。最後利用 4 * P(in circle) 就可以計算出該圓形的面積。

最大概似估計

• 機率密度函數： $f(X|\theta)$$, $\theta`$ 為未知。
• 概似函數：$L(\theta) = \prod_{i=1}^n f(x_i)$
• 求可以讓 $L(\theta)$ 最大化的 $\theta$ 參數 $`\hat{\theta}$$。
  • 可以直接最大化 $L(\theta)$ ，或者最大化 $ln L(\theta)$ 亦可
  • (因為許多獨立隨機變數的算式會表現為某些機率式的乘積，此時取 ln 可以讓這些乘積轉化為相加的運算，數學上會變得較為簡單)。
• 用 $\hat{\theta}$ 取代 $\theta$ ，就可得到最大慨似估計式。
• 利用已知樣本求取「最大慨似估計式」的觀察值，以便估計其中的參數值。

說明：如果是常態分布，通常 $`\theta = (\mu, \delta^2)$$

對於任何一個隨機現象，我們可以用隨機變數 X 描述，假設樣本 x 的機率分布以 $p(x)$ 表示。

假如經過觀察之後，經由觀察數據 $x_1,x_2,\cdots,x_n$ 的統計，得到其分布為 p’(x) ，於是我們就可以利用機率分布 p’ 反推出 p 。

一個最簡單的想法是 p(x) = p’(x) ，也就是這些觀察是具有代表性的，於是統計上的機率分布符合真實的機率分佈。

這個想法的背後，其實是有理論基礎的，其理論稱為「最大似然法則」或「最大概似估計」 (Maximum Likelihood Estimation)。

最大概似估計的數學想法

隨然我們觀察到的統計現象是 p’，但是真正的 p 卻有無限多種可能，基本上任何機率分布都可能產生觀察現象 p’。

即便如此，每一個機率分布 p 會產生觀察現象 p’ 的可能性卻大有不同，假如機率模型 p 與 p’(x) 的分布一致 ，那麼 p 產生 p’(x) 現象的機率將會是最大的。

因此，設定 p(x) = p’(x) 的想法，其背後的目標乃是要最大化機率源模型 p 產生 p’ 現象的可能性，這個最大化的目標就稱為「最大概似估計」。