PRML(1.2.4 ガウス分布)①

2019.09.19

[toc]

　今回は、パターン認識と機械学習上 1.2.4節で説明されているガウス分布が確率密度の満たすべき２つの条件を満たすことを式で追っていきたいと思います。

対象読者

確率密度 $p(x)$ の満たすべき条件
$p(x) \geq 0 \\ \int_{ -\infty }^{ \infty } p(x) dx = 1$

まず、単一の実数値 $x$ に対するガウス分布は以下の式で表されます。

\mathcal{N}(x|\mu,\sigma^2)= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} (x-\mu)^2 \right\}

$\displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}}$ は正であり、 $\exp$ も正であるため、

\mathcal{N}(x|\mu,\sigma^2)>0

であることがわかります。

次に、ガウス分布が規格化されていることを確認していきます。規格化されていることは、全区間で積分して１になることを確認すればよいため、

\displaystyle \int_{  -\infty  }^{  \infty  } \mathcal{N}(x|\mu,\sigma^2) dx = 1

となることを示していきます。

I = \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2 }{ 2\sigma^2 } \right\} dx

とおく。

\begin {aligned} I \times I &= \displaystyle \int_{  -\infty  }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2 }{ 2\sigma^2 } \right\} dx \displaystyle \int_{  -\infty  }^{  \infty } \exp \left\{ -\displaystyle\frac{ y^2 }{ 2\sigma^2 } \right\}dy \\ &= \displaystyle \int_{  -\infty  }^{ \infty } \displaystyle \int_{  -\infty  }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2+y^2 }{ 2\sigma^2 } \right\} dxdy \end {aligned}

ここで、

x=rcos\theta ,y=rsin\theta

とおく。

\displaystyle\frac{ \partial (x,y) }{ \partial (r,\theta) } = \begin{vmatrix} \begin{array}{cc} { \frac{\partial x}{\partial r} } & { \frac{\partial x}{\partial \theta} } \\ { \frac{\partial y}{\partial r} } & { \frac{\partial y}{\partial \theta} } \end{array} \end{vmatrix} = \begin{vmatrix} \begin{array}{cc} { cos\theta } & { -rsin\theta } \\ { sin\theta } & { rcos\theta } \end{array} \end{vmatrix} = rcos ^2 \theta+rsin ^2 \theta = r

\begin {aligned} I^2 &= \displaystyle \int_{  -\infty  }^{ \infty } \displaystyle \int_{  -\infty  }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2+y^2 }{ 2\sigma^2 } \right\} dxdy &= \displaystyle \int_{  0  }^{ 2\pi } \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ r^2 }{ 2\sigma^2 } \right\} rdrd\theta \end {aligned}

$r^2 = uとおく。 \displaystyle\frac{du }{ dr } = 2r$ を代入すると、

\begin{aligned} \displaystyle \int_{ 0 }^{ 2\pi } \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ r^2 }{ 2\sigma^2 } \right\} rdrd\theta &= \displaystyle \int_{  0  }^{ 2\pi } \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} r \displaystyle\frac{du }{ 2r } d\theta \\ &= \pi \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} du \\ &= \left[ -2\sigma^2 \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} \right]^\infty_0 \\ &= 2 \pi \sigma^2 \\ \end{aligned}

※ \lim_{a \to \infty} \left[ -2\sigma^2 \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} \right]^a を \left[ -2\sigma^2 \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} \right]^\infty_0 としています。

I^2 = 2 \pi \sigma ^2 より、 I = ({ 2 \pi \sigma^2})^\frac{1}{2}

\begin {aligned} \displaystyle \int_{  -\infty  }^{  \infty  } \mathcal{N}(x|\mu,\sigma^2) dx &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} (x-\mu)^2 \right\} dx \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{  -\infty  }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} z^2 \right\} dz \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \times I \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^{\frac{1}{2}}} \times ({ 2\pi \sigma^2})^\frac{1}{2} \\ &= 1 \end {aligned}

※ $x-\mu = z とおき、 \displaystyle\frac{dz }{ dx } = 1$ を代入している

よって、ガウス分布が確率分布の条件を満たすということが示せました。

ガウス分布の期待値と分散は次の記事で紹介しています。

\ いいなと思ったらシェア /