はじめに

本記事では数ある確率分布の中でも、有名なベルヌーイ分布と、二項分布について説明していきます。

ベルヌーイ分布とは

コインを投げるときの「表」と「裏」のように、二種類の結果を取りうる試みがあったときに、このような試みのことを ベルヌーイ試行 と呼びます。
二つの事象を $X = 1$ , $ X = 0 $ とすると、

$$ P(X = 1) = p、 P(X = 0) = 1 - p $$ であり、これらの分布のことを ベルヌーイ分布 と呼びます。

確率関数は以下の式で表されます。

$$ f (x) = p^x (1 - p)^{1-x},\ \ x \in (1,0) $$

二項分布とは

上記で説明したベルヌーイ試行をn回繰り返すことを考えます。たとえば、コイン投げを5回繰り返すといった具合にです。
この場合に、「$X=1$」が $x$ 回、「$X=0$」が $n-x$ 回 生じるとすれば、 $x = 0, 1, \cdots , n$ でありそのときに確率関数は、

$$ f(x) = {}_n C_{x}\ p^x (1-p)^{n-x} $$

のようになり、この分布を 二項分布 といい、 $Bi(n, p)$ で表します。

ベルヌーイ分布は二項分布の試行回数が $n = 1$ の場合の特殊な例と考えられるため、
一般化された二項分布のみを考えればとりあえずよさそうです。

この式が確率分布であることを確かめるためには、すべての取りうる $x$ についての総和である以下の式が1になることを確認すればOKです。

$$ \sum^n_{x = 0} {}_n C_{x}\ p^x (1-p)^{n-x} $$

二項定理 $$ (a + b)^n = \sum^n_{x=0} {}_n C_{x} a^x b^{n-x} $$

により上記式は、

$$ \sum^n_{x = 0} {}_n C_{x}\ p^x (1-p)^{n-x} = (p + (1-p)) ^n = 1 $$

となり、確率分布であることがわかりました。

モーメント母関数

二項分布のモーメント母関数を求めてみます。 モーメント母関数の導出には以下を求めれば良いです。

$$ M_X(t) = E(e^{tX}) $$

期待値は、

$$ E(X) = \sum_x x\ f(x) $$

を求めればよいため、

$$ M_X(t) = \sum_x e^{tx}\ f(x) $$

$$ = \sum_x e^{tx}\ {}_n C_{x}\ p^x (1-p)^{n-x} $$

$$ = \sum_x {}_n C_{x}\ (p e^{t})^x (1-p)^{n-x} $$

二項定理より

$$ M_X (t) = (pe^t + (1 - p))^n $$

となります。

後のために、モーメント母関数の一階微分と二階微分を求めておきます。

一階微分

$$ M_X' (t) = np e^t (pe^t + (1-p))^{n-1} $$

0を代入すると、

$$ M_X' (0) = np (p + (1-p))^{n-1} = np $$

二階微分

$$ M_X'' (t) = np \cdot (\ e^t \cdot (pe^t + (1-p))^{n-1} + e^t \cdot (n-1) (pe^t + (1-p) )^{n-2} \cdot pe^t)\ ) $$

$$ \ \ \ \ \ \ \ = np \cdot (\ e^t \cdot (pe^t + (1-p))^{n-1} + pe^{2t} \cdot (n-1) (pe^t + (1-p) )^{n-2})\ ) $$

0を代入すると、

$$ M_X'' (0) = np \cdot (\ 1 \cdot (p\cdot 1 + (1 - p))^{n-1} + p \cdot 1 \cdot (n-1)(p\cdot 1 + (1-p))^{n-2}\ ) $$

$$ = np \cdot (\ 1 + p \cdot (n-1)\ ) = np + n (n-1) p^2 $$

まとめると、以下のようになります。

1階微分の $t=0$

$M_X' (0) = np$

2階微分の $t=0$

$M_X'' (0) = np + n (n - 1) p^2$

これらを用いて二項分布の期待値と、分散を求めてみます。

期待値

期待値は、モーメント母関数を用いて、

$$ E(X) = M_X' (0) $$

と表せるため、期待値は以下のようになります。

$$ E(X) = np $$

分散

分散は定義から、

$$ V(X) = E(\ (X-\mu)^2\ ) $$

なため式変形すると、

$$ V(X) = E( X^2 - 2\mu X + \mu^2) $$

$$ V(X) = E(X^2) - 2\mu E(X) + \mu^2 $$

ここで、

$$ E(X) = \mu $$

なので、

$$ V(X) = E(X^2) - 2E(X)^2 + E(X)^2 = E(X^2) - E(X)^2 $$

と表せます。

また、モーメント母関数の2階微分は

$$ E(X^2) = M_X'' (0) $$

なため、

$$ V(X) = M_X'' (0) - (\ M_X' (0)\ )^2 $$

と表せます。

先に計算しておいたものを利用すると、

$$ V(X) = np + n (n-1) p^2 - (np)^2 $$

$$ \ \ \ \ \ \ \ \ = np + n^2p^2 - np^2 - (np)^2 $$

$$ \ \ \ = np - np^2 = np (1-p) $$

となります。

上記をまとめると以下のようになります。

期待値

$ E(X) = np $

分散

$ V(X) = np(1 - p)$

ちなみに、上記の $n=1$ のときが ベルヌーイ分布の期待値と分散になります。

まとめ

今回はベルヌーイ分布・二項分布を紹介し、そのモーメント母関数から、期待値と分散を導出しました。
また、導出を通じてモーメント母関数さえわかれば比較的簡単な計算で期待値や分散を求められることを示しました。

他の分布も同様にモーメント母関数から、期待値や分散を求めていきたいと思います。