数学・統計学

確率変数と確率分布

確率変数とは

確率変数(random variable)とは、確率的な事象の結果を数値として表すために定義された関数です。

例えば「コインを1回投げる」という試行を考えます。確率変数 \( X \) を「表が出たら1、裏が出たら0」と定義すると、「表が出る」という事象は \( X = 1 \)、「裏が出る」という事象は \( X = 0 \) と、各事象に数値を対応させる関数として表すことができます。

離散型確率変数

離散型確率変数(discrete random variable)とは、とりうる値が離散的な確率変数です。

例:コインの表裏、サイコロの出目、来店客数など。

連続型確率変数

連続型確率変数(continuous random variable)とは、とりうる値が連続的な確率変数です。

例:身長、体重、温度など。

確率分布とは

確率分布(probability distribution)とは、確率変数の取りうる値と確率との関係を表わす概念です。

離散型確率変数が従う分布を離散型確率分布(discrete probability distribution)、連続型確率変数が従う分布を連続型確率分布(continuous probability distribution)といいます[1]離散型確率分布を「離散分布」、連続型確率分布を「連続分布」ともいいます。

確率質量関数(PMF)、確率密度関数(PDF)はそれぞれ、離散型確率分布、連続型確率分布の具体的な表現です。

確率質量関数(PMF)

確率質量関数(probability mass function; PMF)は、離散型確率変数の各値に対してその値の実現確率を対応づける関数です[2]確率質量関数を単に「確率関数」ともいいます。確率密度関数を「確率関数」ということは通常ありません。

離散型確率変数 \( X \) がとりうる値を \( x \) とするとき、その確率質量関数を次にように表します。

\[
p(x) = P(X = x)
\]

例えば「コインを1回投げる」という試行を考えます。確率変数 \( X \) を「表が出たら1、裏が出たら0」と定義すると、確率質量関数は次のように表されます。

\[
p(0) = P(X = 0) = \frac{1}{2}, \quad
p(1) = P(X = 1) = \frac{1}{2}
\]

確率質量関数の性質

確率質量関数は、次の性質を満たします。

  • 非負性:\( \;p(x) \ge 0\; \)(すべての \( x \) で)
  • 全確率が1:\( \displaystyle \sum_{x} p(x) = 1 \)

確率密度関数(PDF)

確率密度関数(probability density function; PDF)は、連続型確率変数の確率分布を特徴づける関数です。

連続型確率変数 \( X \) がとりうる値を \( x \) とするとき、その確率密度関数を \( f(x) \) と表します。

確率質量関数(PMF)が確率そのものを返す関数なのに対し、確率密度関数(PDF)は名前のとおり、確率ではなく確率の密度を返す関数です。連続型確率変数がある値をとる確率は 0 です[3]例えば、無限の少数桁数を測定可能な体重計があると仮定したとき、きっちり 50.000… kg という値をとる人は存在しません。連続型確率変数における確率は、確率密度関数 \( f(x) \) のある区間 \( [a,b] \) における定積分として求めます。

\[
P(a \le X \le b) = \int_{a}^{b} f(x)\,dx
\]

積分
積分とは積分とは、関数の変化を積み重ねてその全体量を求める数学的な概念です。データサイエンスにおいては、確率を確率密度関数の積分として求めます(連続確率分布の場合)。ベイズ推定における周辺尤度(エビデンス)の計算にも積分が用いられます解析解...

確率密度関数の性質

確率密度関数は、次の性質を満たします。

  • 非負性:\( \;f(x) \ge 0\; \)(すべての \( x \) で)
  • 全確率が1:\( \displaystyle \int_{-\infty}^{\infty} f(x)\,dx = 1 \)

累積分布関数(CDF)

累積分布関数(Cumulative Distribution Function; CDF)とは、確率変数がある値 \( x \) 以下となる確率を表す関数です[4]累積分布関数を単に「分布関数」ともいいます。

\[
F(x) = P(X \le x)
\]

連続型確率分布の場合、確率密度関数 \( f(x) \) を確率変数 \( X \) の定義域の下限 \( a \)[5]多くの分布では、定義域の下限 \( a = -\infty \)。 から \( x \) まで定積分したものが累積分布関数 \( F(x) \) です[6]離散型確率分布の場合でも定義可能ですが、累積分布関数は連続型確率分布において確率密度関数との関係で語られる場合がほとんどです。

\[
F(x) = P(X \le x) = \int_{a}^{x} f(t)\,dt
\]

また、微分の関係として次式が成り立ちます。

\[
\frac{d}{dx}F(x) = f(x)
\]

確率密度関数を \( [a,x] \) の区間で定積分すれば累積分布関数が得られ、累積分布関数を微分すれば確率密度関数が得られます。確率密度関数は累積分布関数の傾きを表しているともいえます。

微分
微分とは微分とは、関数の変化率を表す数学的な概念です。データサイエンスにおいては、モデルの損失関数を最小化するための勾配降下法や、深層学習における誤差逆伝播法、また最適化アルゴリズムの計算に利用されます解析解(数学的に厳密な解)を求めること...

脚注

脚注
1 離散型確率分布を「離散分布」、連続型確率分布を「連続分布」ともいいます。
2 確率質量関数を単に「確率関数」ともいいます。確率密度関数を「確率関数」ということは通常ありません。
3 例えば、無限の少数桁数を測定可能な体重計があると仮定したとき、きっちり 50.000… kg という値をとる人は存在しません。
4 累積分布関数を単に「分布関数」ともいいます。
5 多くの分布では、定義域の下限 \( a = -\infty \)。
6 離散型確率分布の場合でも定義可能ですが、累積分布関数は連続型確率分布において確率密度関数との関係で語られる場合がほとんどです。
タイトルとURLをコピーしました