正規分布の再生性の証明

命題 1

期待値${\mu }_1$、分散${\sigma }_1^2$の正規分布に従う確率変数$X_1$と 期待値${\mu }_2$、分散${\sigma }_2^2$の正規分布に従う確率変数$X_2$がある。

これらは独立な確率変数とする。

確率変数$X=X_1+X_2$は、 期待値${\mu }_1+{\mu }_2$、分散${\sigma }_1^2+{\sigma }_2^2$の正規分布に従う。

証明

直接的な方法

$X$の確率密度関数$f(x)$を考える。

$X_1$の確率密度関数を$f_1(x)$とし、 $X_2$の確率密度関数を$f_2(x)$とすると、

$$f(x)=(f_1\ast f_2)(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_1(x-t)f_2(t)dt$$

これは畳み込み(convolution)と呼ばれている。

今、$f_1(x)$は期待値${\mu }_1$、分散${\sigma }_1^2$の正規分布の確率密度関数であるから、

$$f_1(x)=\frac{1}{\sqrt{2\pi {\sigma }_1^2}}\exp [-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}]$$

同様に、 $f_2(x)$は期待値${\mu }_2$、分散${\sigma }_2^2$の正規分布の確率密度関数であるから、

$$f_2(x)=\frac{1}{\sqrt{2\pi {\sigma }_2^2}}\exp [-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}]$$

これらを用いて、畳み込みを直接計算すると、

$$\begin{array}{rl}f(x)& =(f_1\ast f_2)(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_1(x-t)f_2(t)dt\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi {\sigma }_1^2}}\exp [-\frac{((x-t)-{\mu }_1{)}^2}{2{\sigma }_1^2}]\frac{1}{\sqrt{2\pi {\sigma }_2^2}}\exp [-\frac{(t-{\mu }_2{)}^2}{2{\sigma }_2^2}]dt\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp [-\frac{((x-t)-{\mu }_1{)}^2}{2{\sigma }_1^2}-\frac{(t-{\mu }_2{)}^2}{2{\sigma }_2^2}]dt\end{array}$$

右辺の被積分関数の指数部分に$-1$を掛けた式は

$$\frac{((x-t)-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(t-{\mu }_2{)}^2}{2{\sigma }_2^2}$$ 分母を払うため、$2{\sigma }_1^2{\sigma }_2^2$を掛けた式を考えて、$t$について展開して平方完成すると、

$$\begin{array}{rl}{\sigma }_2^2((x-t)-{\mu }_1{)}^2+{\sigma }_1^2(t-{\mu }_2{)}^2& ={\sigma }_2^2\{t-(x-{\mu }_1){\}}^2+{\sigma }_1^2(t-{\mu }_2{)}^2\\ & =({\sigma }_1^2+{\sigma }_2^2)t^2-2\{{\sigma }_2^2(x-{\mu }_1)+{\sigma }_1^2{\mu }_2\}t+\{{\sigma }_2^2(x-{\mu }_1{)}^2+{\sigma }_1^2{\mu }_2^2\}\\ & =({\sigma }_1^2+{\sigma }_2^2)\{t-\frac{{\sigma }_2^2(x-{\mu }_1)+{\sigma }_1^2{\mu }_2}{{\sigma }_1^2+{\sigma }_2^2}{\}}^2-\frac{\{{\sigma }_2^2(x-{\mu }_1)+{\sigma }_1^2{\mu }_2{\}}^2}{{\sigma }_1^2+{\sigma }_2^2}+\{{\sigma }_2^2(x-{\mu }_1{)}^2+{\sigma }_1^2{\mu }_2^2\}\end{array}$$

定数項部分を考えるため、$({\sigma }_1^2+{\sigma }_2^2)$倍した定数項を考えると、

$$\begin{array}{rl}& ({\sigma }_1^2+{\sigma }_2^2)\{{\sigma }_2^2(x-{\mu }_1{)}^2+{\sigma }_1^2{\mu }_2^2\}-\{{\sigma }_2^2(x-{\mu }_1)+{\sigma }_1^2{\mu }_2{\}}^2\\ & =({\sigma }_1^2+{\sigma }_2^2)\{{\sigma }_2^2(x-{\mu }_1{)}^2+{\sigma }_1^2{\mu }_2^2\}-\{{\sigma }_2^4(x-{\mu }_1{)}^2+{\sigma }_1^4{\mu }_2^2+2{\sigma }_1^2{\sigma }_2^2(x-{\mu }_1){\mu }_2\}\\ & =\{({\sigma }_1^2{\sigma }_2^2+{\sigma }_2^4)(x-{\mu }_1{)}^2+({\sigma }_1^4+{\sigma }_1^2{\sigma }_2^2){\mu }_2^2\}-\{{\sigma }_2^4(x-{\mu }_1{)}^2+{\sigma }_1^4{\mu }_2^2+2{\sigma }_1^2{\sigma }_2^2(x-{\mu }_1){\mu }_2\}\\ & ={\sigma }_1^2{\sigma }_2^2(x-{\mu }_1{)}^2+{\sigma }_1^2{\sigma }_2^2{\mu }_2^2-2{\sigma }_1^2{\sigma }_2^2(x-{\mu }_1){\mu }_2\\ & ={\sigma }_1^2{\sigma }_2^2\{x-({\mu }_1+{\mu }_2){\}}^2\end{array}$$

以上から、

$$\begin{array}{rl}& \frac{((x-t)-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(t-{\mu }_2{)}^2}{2{\sigma }_2^2}\\ & =\frac{1}{2{\sigma }_1^2{\sigma }_2^2}[({\sigma }_1^2+{\sigma }_2^2)\{t-\frac{{\sigma }_2^2(x-{\mu }_1)+{\sigma }_1^2{\mu }_2}{{\sigma }_1^2+{\sigma }_2^2}{\}}^2+\frac{{\sigma }_1^2{\sigma }_2^2\{x-({\mu }_1+{\mu }_2){\}}^2}{{\sigma }_1^2+{\sigma }_2^2}]\\ & =\frac{{\sigma }_1^2+{\sigma }_2^2}{2{\sigma }_1^2{\sigma }_2^2}\{t-\frac{{\sigma }_2^2(x-{\mu }_1)+{\sigma }_1^2{\mu }_2}{{\sigma }_1^2+{\sigma }_2^2}{\}}^2+\frac{\{x-({\mu }_1+{\mu }_2){\}}^2}{2({\sigma }_1^2+{\sigma }_2^2)}\end{array}$$

よって畳み込みの計算は、

$$\begin{array}{rl}& \frac{1}{2\pi {\sigma }_1{\sigma }_2}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp [-\frac{((x-t)-{\mu }_1{)}^2}{2{\sigma }_1^2}-\frac{(t-{\mu }_2{)}^2}{2{\sigma }_2^2}]dt\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp [-\frac{{\sigma }_1^2+{\sigma }_2^2}{2{\sigma }_1^2{\sigma }_2^2}\{t-\frac{{\sigma }_2^2(x-{\mu }_1)+{\sigma }_1^2{\mu }_2}{{\sigma }_1^2+{\sigma }_2^2}{\}}^2]\exp [\frac{\{x-({\mu }_1+{\mu }_2){\}}^2}{2({\sigma }_1^2+{\sigma }_2^2)}]dt\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp [-\frac{{\sigma }_1^2+{\sigma }_2^2}{2{\sigma }_1^2{\sigma }_2^2}{t}^2]\exp [\frac{\{x-({\mu }_1+{\mu }_2){\}}^2}{2({\sigma }_1^2+{\sigma }_2^2)}]dt\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}\exp [\frac{\{x-({\mu }_1+{\mu }_2){\}}^2}{2({\sigma }_1^2+{\sigma }_2^2)}]{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp [-\frac{{\sigma }_1^2+{\sigma }_2^2}{2{\sigma }_1^2{\sigma }_2^2}{t}^2]dt\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}\sqrt{\frac{2\pi {\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}\exp [\frac{\{x-({\mu }_1+{\mu }_2){\}}^2}{2({\sigma }_1^2+{\sigma }_2^2)}]\\ & =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\exp [\frac{\{x-({\mu }_1+{\mu }_2){\}}^2}{2({\sigma }_1^2+{\sigma }_2^2)}]\end{array}$$

となり、$f(x)=(f_1\ast f_2)(x)$が、期待値${\mu }_1+{\mu }_2$、分散${\sigma }_1^2+{\sigma }_2^2$の正規分布の確率密度関数となることが示された。

特性関数を用いる方法

確率密度関数のフーリエ変換である特性関数を用いると、これはほぼ明らかとなる。

$X$の特性関数$E[e^{itX}]$を考える。

$X_1$の特性関数は、

$$E[e^{it{X}_1}]=\exp [i{\mu }_{1}t-\frac{{\sigma }_1^2}{2}{t}^2]$$ $X_2$の特性関数は、

$$E[e^{it{X}_2}]=\exp [i{\mu }_{2}t-\frac{{\sigma }_2^2}{2}{t}^2]$$ なので、

$$\begin{array}{rl}E[e^{itX}]& =E[e^{it(X_1+X_2)}]\\ & =E[e^{it{X}_1}]E[e^{it{X}_2}]\\ & =\exp [i{\mu }_{1}t-\frac{{\sigma }_1^2}{2}{t}^2]\exp [i{\mu }_{2}t-\frac{{\sigma }_2^2}{2}{t}^2]\\ & =\exp [i({\mu }_1+{\mu }_2)t-\frac{({\sigma }_1^2+{\sigma }_2^2)}{2}{t}^2]\end{array}$$

これで、$E[e^{itX}]$が、期待値${\mu }_1+{\mu }_2$、分散${\sigma }_1^2+{\sigma }_2^2$の正規分布の特性関数であることが示された。

命題 2

期待値$\mu$、分散$\sigma$の正規分布に従う確率変数$X$と実数$c$がある。

確率変数$Y=cX$は、 期待値$c\mu$、分散$c^2{\sigma }^2$の正規分布に従う。

証明

直接的な方法

$X$の確率密度関数を$f(x)$として、$Y$の確率を考える

$$\begin{array}{rl}P(a\le Y\le b)& =P(a\le cX\le b)\\ & =P(\frac{a}{c}\le X\le \frac{b}{c})\\ & ={\int }_{\frac{a}{c}}^{\frac{b}{c}}f(x)dx\\ & =\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{\frac{a}{c}}^{\frac{b}{c}}\exp [-\frac{(x-\mu {)}^2}{2{\sigma }^2}]dx\\ & =\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_a^b\exp [-\frac{(\frac{y}{c}-\mu {)}^2}{2{\sigma }^2}]\frac{dy}{c}\\ & =\frac{1}{\sqrt{2\pi c^2{\sigma }^2}}{\int }_a^b\exp [-\frac{(y-c\mu {)}^2}{2c^2{\sigma }^2}]dy\end{array}$$

よって、$Y$の確率密度関数$g(y)$は、

$$g(y)=\frac{1}{\sqrt{2\pi c^2{\sigma }^2}}\exp [-\frac{(y-c\mu {)}^2}{2c^2{\sigma }^2}]$$

これは、期待値$c\mu$、分散$c^2{\sigma }^2$の正規分布の確率密度関数である。

特性関数を用いる方法

確率密度関数のフーリエ変換である特性関数を用いると、これはほぼ明らかとなる。

$Y$の特性関数$E[e^{itY}]$を考える。

$X$の特性関数は、

$$E[e^{itX}]=\exp [i\mu t-\frac{{\sigma }^2}{2}{t}^2]$$ なので、

$$\begin{array}{rl}E[e^{itY}]& =E[e^{it(cX)}]\\ & =E[e^{i(ct)X}]\\ & =\exp [i\mu ct-\frac{{\sigma }^2}{2}(ct{)}^2]\\ & =\exp [i(c\mu )t-\frac{c^2{\sigma }^2}{2}{t}^2]\end{array}$$

これで、$E[e^{itY}]$が、期待値$c\mu$、分散$c^2{\sigma }^2$の正規分布の特性関数であることが示された。

正規分布の再生性

命題1と命題2をあわせて、正規分布の再生性(reproductive property)という。