[toc]
今回は、パターン認識と機械学習 上 1.2.4節で説明されているガウス分布の期待値と分散を求めていきます。
PRML(1.2.4 ガウス分布)①
PRML(1.2.4 ガウス分布)③
対象読者
- 初学者
ガウス分布の期待値
ガウス分布の期待値が
\mathbb{E} [x] = \muとなることの途中式を追ってみます。
\begin {aligned} \mathbb{E} [x] &= \displaystyle \int_{ -\infty }^{ \infty } \mathcal{N}(x|\mu,\sigma^2)xdx \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} (x-\mu)^2 \right\}x dx \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} t^2 \right\} (t+\mu) dt \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } t\exp \left\{ -\displaystyle\frac{1}{2\sigma^2} t^2 \right\} dt + \mu \displaystyle \int_{ -\infty }^{ \infty } \mathcal{N}(t|\mu,\sigma^2) dt \end{aligned} ※ t=x-\muとおいた。ここで、
t\exp \left\{ -\displaystyle\frac{1}{2\sigma^2} t^2 \right\} ：奇関数 \displaystyle \int_{ -\infty }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) dx = 1
を用いることで、
\mathbb{E} [x] = \muとなります。
ガウス分布の分散
ガウス分布の分散が
\rm var[x] = \sigma^2となることの途中式を追ってみます。
分散は、 \rm var[x] = \mathbb{E} [x^2] - (\mathbb{E} [x])^2 で求めることができるので、
まずは、計算に必要な \mathbb{E} [x^2] （二次モーメント） を求めていきます。
ここで、 \displaystyle \frac{x-\mu}{\sigma}とおき、 \displaystyle\frac{dt }{ dx } = \frac{1}{\sigma} を代入する。
\begin{aligned} &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } (t \sigma)^2 \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\} \sigma dt = \displaystyle\frac{\sigma^2}{(2\pi)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } t^2 \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt ※1\\ &= \displaystyle\frac{\sigma^2}{(2\pi)^ {\frac{1}{2}}} \times (2\pi)^\frac{1}{2} = \sigma^2 \end{aligned}※1
\begin{aligned} \displaystyle \int_{ -\infty }^{ \infty } t^2 \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt &= \displaystyle \int_{ -\infty }^{ \infty } t \cdot t \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt \\ &= \left[ t (- \exp \left\{ -\displaystyle\frac{ t^2 }{ 2} \right\} )\right]^\infty_{-\infty} + \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt \\ &= \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt ※2 ガウス積分を用いる \\ &= (2\pi)^\frac{1}{2} \end{aligned} \begin{aligned} ② = \displaystyle \int_{ -\infty }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) (2\mu x) dx = 2\mu \displaystyle \int_{ -\infty }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) dx &= 2\mu \mathbb{E} [x] = 2\mu \cdot \mu = 2\mu^2 \end{aligned} ③ = \displaystyle \int_{ -\infty }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) (-\mu^2)dx = -\mu^2 \displaystyle \int_{ -\infty }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) dx = -\mu^2よって、 \mathbb{E} [x^2] （二次モーメント）は
\begin{aligned} \mathbb{E} [x^2] = \sigma^2 + \mu^2 \end{aligned}となることがわかりました。
したがって、分散は
\begin{aligned} \rm var[x] &= \mathbb{E} [x^2] - ( \mathbb{E} [x])^2 \\ &= \sigma^2 + \mu^2 - \mu^2 \\ &= \sigma^2 \end{aligned}となります。
まとめ
今回はガウス分布について、
期待値 \mathbb{E} [x] = \mu
分散 \rm var[x] = \sigma^2
を求めました。
参考文献
- C.M. ビショップ (2012)：『パターン認識と機械学習 上』, 丸善出版
