最尤推定
最尤推定（Maximum Likelihood Estimation; MLE）は、点推定の代表的な手法のひとつです。
パラメータを \( \theta \)、標本データを \( x_1, x_2, \dots, x_n \) とすると、尤度関数（likelihood function）を次のように定義します。
\[ L(\theta) = \prod_{i=1}^{n} f(x_i \mid \theta) \]
ここで \( f(x_i \mid \theta) \) は、パラメータ \( \theta \) が与えらえたもとでの確率密度関数（または確率質量関数）です。
尤度関数 \( L(\theta) \) を最大にするパラメータ \( \hat{\theta} \) を最尤推定値（Maximum Likelihood Estimator）と呼びます。
\[ \hat{\theta} = \arg\max_{\theta} L(\theta) \]
計算を簡単にするために、尤度関数の対数を取ります。これを対数尤度関数（log-likelihood function）と呼びます。
\[ \ell(\theta) = \ln L(\theta) \]
対数関数は単調増加関数であるため、次式が成り立ちます。
\[ \hat{\theta} = \arg\max_{\theta} L(\theta) = \arg\max_{\theta} \ell(\theta) \]
対数尤度関数をパラメータ \( \theta \) で微分[1]パラメータが複数ある場合は、対数尤度関数を各パラメータで偏微分します。して0と置くことで、最尤推定値の候補（停留点）を求めることができます。
\[ \frac{d\ell(\theta)}{d\theta} = 0 \]
さらに対数尤度関数をパラメータ \( \theta \) で二階微分した符号が負であれば、その点は局所最大点であるといえます。
対数尤度関数が上に凸であることが知られている分布（正規分布、ベルヌーイ分布、ポアソン分布など）では、二階微分の確認を省略して大域最大点、つまり最尤推定値であるといえます。
脚注
| 1 | パラメータが複数ある場合は、対数尤度関数を各パラメータで偏微分します。 |
|---|
