最尤推定

最尤推定（Maximum Likelihood Estimation; MLE）は、点推定の代表的な手法のひとつです。

パラメータを \( \theta \)、標本データを \( x_1, x_2, \dots, x_n \) とすると、尤度関数（likelihood function）を次のように定義します。

\[ L(\theta) = \prod_{i=1}^{n} f(x_i \mid \theta) \]

ここで \( f(x_i \mid \theta) \) は、パラメータ \( \theta \) が与えらえたもとでの確率密度関数（または確率質量関数）です。

尤度関数 \( L(\theta) \) を最大にするパラメータ \( \hat{\theta} \) を最尤推定値（Maximum Likelihood Estimator）と呼びます。

\[ \hat{\theta} = \arg\max_{\theta} L(\theta) \]

計算を簡単にするために、尤度関数の対数を取ります。これを対数尤度関数（log-likelihood function）と呼びます。

\[ \ell(\theta) = \ln L(\theta) \]

対数尤度関数をパラメータで微分して0と置く（パラメータが複数ある場合は各パラメータで偏微分して0と置く）ことで、最尤推定値を求めることができます^[1] … Continue reading。

\[ \frac{d\ell(\theta)}{d\theta} = 0 \]

脚注[+]

脚注
1	ここで得られるのは極値であり、二階微分の符号が負であることを確認してはじめて最大値、つまり最尤推定値であるといえます。但し、対数尤度関数が上に凸であることが知られている分布（正規分布、ベルヌーイ分布、ポアソン分布など）については、二階微分の計算を省略することが可能です。