Sam's Stats Inn

最大概似估計 (maximum likelihood estimator, MLE)是統計推論上目前最廣泛使用的估計式，它的概念容易理解，具有一些理想的統計性質，使用上非常方便。不過並非所有的MLE都會是無偏估值 (unbiased estimator)，常態分佈 (normal distribution)的參數$\sigma^2$之MLE即是一有偏估值 (biased estimator)。以下我們可透過實際演練來簡單證明此一例子。 Maximum Likelihood Estimator of $\mu$ & $\sigma^2$ 顧名思義，最大概似估計即是從給定的樣本當中去找出能夠最大化概似函數 (likelihood function)的參數估計。今假設有一樣本數$n$的樣本$X$服從常態分佈$N(\mu,\sigma^2)$，即$X_1,X_2,...,X_n \stackrel{\text{i.i.d}}{\sim} N(\mu, \sigma^2)$ 表示，則此樣本的概似函數： $L(\mu, \sigma^2|x_1,...,x_n) =  f(x_1,...,x_n | \mu, \sigma^2)$ 上式中的$f(x)$即是我們分布的機率密度函數 (pdf, probability density function)，而我們知道$X_1,...,X_n$彼此之間獨立地 (iid, independently and identically distributed)來自同一個分布，因此我們可將最大概似函數寫成各自pdf的連乘積： $L(\mu, \sigma^2|x_1,...,x_n) = \displaystyle\prod^{n}_{i=1} f(x_i | \mu, \sigma^2)$ 常態分佈$N(\mu,\sigma^2)$的pdf為： $f(x|\mu,\sigma^2)=(2\pi\sigma^2)^{\frac{-1}{2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})$ 將常態分佈的pdf代回去最大概似函數後，我們可進一步表示為： $L(\mu, \sigma^2|x_1,\dots,x_n) = \displaystyle...