確率分布におけるモーメントとモーメント母関数についてまとめます。

確率分布の形

確率分布の形を決める値として、期待値や分散があると思います。

例えば以下のような正規分布であれば、期待値 (平均) と分散がわかればその形を一意に決めることができます。

正規分布だけではない確率分布一般の話をすると、この二つ以外にも例えば「左右のどちらかに歪んでいるか」や「尖っているか、なだらかか」のような形を決定づける要素があります。
理論的に言えば、確率分布の形を一意に決めるためには無限個の要素を知る必要があります。

この要素をどのように知るかというのが確率分布を決定づけるために必要なわけですが、はじめに、先ほど軽く触れたどちらに歪んでいるかや、尖っているかの要素について簡単に紹介します。

歪度と尖度

歪度

確率分布が左右のどちらに歪んでいるかを決める要素です。確率分布の歪度 (skewness、歪度係数) と呼び、以下の式で定義されます。

$$ \alpha_3 = E(X - \mu)^3 / \sigma ^3 $$

$\alpha_3 \gt 0$ ならば右側の裾が長く、 $\alpha_3 \lt 0$ ならば左側の裾が長くなり、その程度は $|\alpha_3|$ で表されます。

$E(X - \mu)^3$ 部分は式変形すると、以下のようになります。

$$ E(X - \mu)^3 = E(X^3) - 3\mu E(X^2) + 3\mu E(x) - \mu^3 $$

$$ = E(X^3) - 3\mu E(X^2) + 2\mu^3 $$

尖度

確率分布の中心の周囲がどのくらい尖っているのかを表す要素です。確率分布の尖度 (kurtness、超過係数: coefficient of excess)と呼び、以下の式で定義されます。

$$ \alpha_4 = E(X - \mu)^4 / \sigma ^4 $$

正規分布が、$\alpha_4 = 3$ なため、これと比較されることが多く、
$\alpha_4 - 3 \gt 0$ ならば正規分布より尖っており、 $\alpha_4 - 3 \lt 0$ ならば正規分布より滑らかな形をしています。

$E(X - \mu)^4$ 部分は式変形すると、以下のようになります。

$$ E(X - \mu)^4 = E(X^4) - 4\mu E(X^3) + 6\mu^2 E(X^2) - 4\mu^3 E(X) + \mu^4 $$

$$ = E(X^4) - 4\mu E(X^3) + 6\mu^2 E(X^2) - 3\mu^4 $$

モーメント

上記の歪度や尖度の例を見てきましたが、一般的に確率分布の形は、

$$ \mu_r = E(X^r) $$

もしくは、

$$ \mu'_r = E(X - \mu)^r $$

で決まってくることがしられています。

$\mu_r = E(X^r)$ を Xの (原点まわりの) r次のモーメント (または積率) と言い、
$\mu'_r = E(X - \mu)^r$ を Xの期待値 (平均) まわりのr次のモーメント と言います。

また、

$$ \alpha_r = E (\ (X - \mu)\ /\ \sigma\ )^r $$

を Xのr次の標準化モーメント と言います。

また、以下のようにこれまで紹介してきた確率分布の形を決定づける値はモーメントの一部であることがわかります。

1次のモーメント

$$ \mu_1 = E(X) = 期待値 $$

期待値周りの2次のモーメント

$$ \mu'_2 = E(X - \mu)^2 = V(X) = 分散 $$

3次の標準化モーメント

$$ \alpha_3 = E (\ (X - \mu)\ /\ \sigma\ )^3 = 歪度 $$

4次の標準化モーメント

$$ \alpha_4 = E (\ (X - \mu)\ /\ \sigma)^4 = 尖度 $$

モーメント母関数

ここまでで、期待値、分散、歪度、尖度などのモーメントを求めることで確率分布をだんだんと定めることができることを説明しました。
究極的に、すべてのモーメントがわかれば確率分布の形は一意に決定することができるはずです。

ここですべてのモーメントを生成する モーメント母関数 という関数を導入します。
定義は以下の通りです。

$$ M_X(t) = E(e^{tx}) $$

計算は以下の通りです。

$$ 離散型\ \ \ M_X(t) = \sum_x e^{tx}\ f(x) $$

$$ 連続型\ \ \ M_X(t) = \int^{\infty}_{-\infty} e^{tx}\ f(x) \ dx $$

このモーメント母関数のr階導関数から以下のように $\mu$ が定義されます。

$$ \mu_r = M_X^{( r )} (0) $$

具体的には、 $M_x'(0) = E(X) = \mu_1$, $M_x''(0) = E(X^2)= \mu_2$ $M_x'''(0) = E(X^3) = \mu_3$ といった具合です。
上記の式を用いることで理論的にすべてのモーメントを知ることができます。

なぜモーメントが生成されるのかということは、 $e^{tx}$ をテイラー展開してみると簡単にわかります。

$$ e^x = \sum^{\infty}_{k=0} \frac{x^k}{k!} = 1 + \frac{x}{1!} + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots $$

なので、これに $x$ に $tX$ を代入し、両辺の期待値をとると、

$$ E(e^{tX}) = 1 + E(tX) + \frac{E(t^2X^2)}{2!} + \frac{E(t^3X^3)}{3!} + \cdots $$ $$ \ \ \ \ \ \ \ \ \ \ = 1 + tE(X) + \frac{t^2}{2!}E(X^2) + \frac{t^3}{3!}E(X^3) + \cdots $$ $$ = 1 + t\mu_1 + \frac{t^2}{2!}\mu_2 + \frac{t^3}{3!}\mu_3 + \cdots $$

となります。 ここで、tでn階微分するとn-1番目の項までが消去され、また $t = 0$ とすると n + 1番目以降の項が消去されます。
具体例を示すと、まず一階微分をすると

$$ M_X' (t) = 0 + \mu_1 + \frac{2t}{2!}\mu_2 + \frac{3t^2}{3!}\mu_3 + \cdots $$ $$ M_X' (t) = 0 + \mu_1 + t\mu_2 + \frac{t^2}{2!}\mu_3 + \cdots $$

0を代入すると、 $$ M_X' (0) = \mu_1 + \frac{2 \cdot 0 }{2!}\mu_2 + \frac{3 \cdot 0 }{3!}\mu_3 + \cdots = \mu_1 $$

さらに微分をすると、 $$ M_X^{(2)} (t) = 0 + 0 + \mu_2 + \frac{2t}{2!}\mu_3 + \cdots $$ $$ M_X^{(2)} (t) = 0 + 0 + \mu_2 + t\mu_3 + \cdots $$

0を代入すると、 $$ M_X^{(2)} (0) = 0 + 0 + \mu_2 + 0 \cdot \mu_3 + \cdots = \mu_2 $$ といった具合です。

モーメント母関数は全ての次数のモーメントを生成することから、確率分布を決定するということができます。
さらに言うと確率分布そのものということもできます。

まとめ

確率分布の形を決定づける、モーメントとそれを生成するモーメント母関数について簡単にまとめました。 これにより、期待値・分散などを容易に求めることができたりします。