最尤推定
最尤推定（Maximum Likelihood Estimation; MLE）は、点推定の代表的な手法のひとつです。
パラメータを \( \theta \)、標本データを \( x_1, x_2, \dots, x_n \) とすると、尤度関数（likelihood function）を次のように定義します。
\[ L(\theta) = \prod_{i=1}^{n} f(x_i \mid \theta) \]
ここで \( f(x_i \mid \theta) \) は、パラメータ \( \theta \) が与えらえたもとでの確率密度関数（または確率質量関数）です。
尤度関数 \( L(\theta) \) を最大にするパラメータ \( \hat{\theta} \) を最尤推定値（Maximum Likelihood Estimate）と呼びます。
\[ \hat{\theta} = \arg\max_{\theta} L(\theta) \]
計算を簡単にするために、尤度関数の対数を取ります。これを対数尤度関数（log-likelihood function）と呼びます。
\[ \ell(\theta) = \ln L(\theta) \]
対数関数は単調増加関数であるため、次式が成り立ちます。
\[ \hat{\theta} = \arg\max_{\theta} L(\theta) = \arg\max_{\theta} \ell(\theta) \]
対数尤度関数をパラメータ \( \theta \) で微分[1]パラメータが複数ある場合は、対数尤度関数を各パラメータで偏微分します。して0と置くことで、最尤推定値の候補（停留点）を求めることができます。
\[ \frac{d\ell(\theta)}{d\theta} = 0 \]
さらに対数尤度関数をパラメータ \( \theta \) で二階微分した符号が関数全体で負であれば、その点は大域最大点、つまり最尤推定値であるといえます。[2] … Continue reading
推定量と推定値
推定量（estimator）とは、未知パラメータを標本データ \(X_1, \dots, X_n\) の関数として表した確率変数です。
推定値（estimate）とは、実際に観測された値 \(x_1, \dots, x_n\) を用いて表される具体的な数値です。
- 推定量：\(\hat{\theta}(X_1, \dots, X_n)\)
- 推定値：\(\hat{\theta}(x_1, \dots, x_n)\)
最尤推定では、まず観測値に基づいて対数尤度を最大化し、最尤推定値を求めます。次に、観測値 \(x_i\) を確率変数 \(X_i\) に置き換えることで、最尤推定量（Maximum Likelihood Estimator）を得ます。
