今回はベイズ推定の事後分布の近似手法である。変分ベイズ法について入門編としてブログを書きます。

対象読者

・変分ベイズ法を名前だけ聞いたことがある人
・ベイズ推定を少しだけ知っている人

はじめに

ベイズ推定について確認したい人は、以前書いたベイズ推定についてのブログを確認ください。
ベイズ推定についてのブログ

事後分布の近似

ベイズ推定では統計モデルと事前分布を用いて、サンプルから予測分布を計算します。予測分布を計算する際に、事後分布を計算する必要がありますが、事後分布を解析的に計算するのは容易ではなく様々な近似手法が用いられます。
以下では近似手法を大きく分けて二つ説明します。

サンプリングによる近似

サンプリングによる近似は、事後分布からサンプリングを行いモンテカルロ法により、事後分布の期待値を計算する方法になります。
具体的にはMCMC法やギブスサンプリング法などを用いてサンプリングが行われます。

異なる分布による近似

異なる分布による近似は、異なる分布ではあるけれど、なるべく正しい事後分布に近いような分布を見つける方法になります。
今回紹介する変分ベイズ法も異なる分布による近似になります。
他には、正規分布で近似を行うラプラス近似などがあげられます。

変分ベイズ

ここでは具体的に行う計算方法については言及しませんが、
どのような分布に近似するのかについて説明します。

カルバックライブラー情報量(KL情報量)

近似を行う際にはどの程度近いか指標が必要になります。そこで用いられるのが以下で定義されるカルバックライブラー情報量になります。

KL(p||q) \geq 0等号成立は p(x)=q(x)

よりKL情報量を二つの密度関数 p(x),q(x) の類似度とし、 事後分布p(x)を近似分布 q(x)で近似する時、 q(x)の候補のうち、 KL(p||q) を最小とする q(x) を選ぶことになります。

近似分布の制限

事後分布p(x)を近似分布 q(x)で近似する際にq(x) を制限しないと、近似分布としてp(x)が選ばれてしまいます。今回は p(x)が実現できないことにより、近似分布を用いているので、近似分布を実現可能な範囲に制限する必要があります。そこで変分ベイズ法では以下のように近似分布を制限します。

各x_iは排反、 p_iは任意の分布とします。

変分ベイズ法は上記の制限の中で KL(p||q) を最小とする q(x) を選ぶ手法です。

今回は具体的に選ばれるq(x)については言及しませんが
興味がある人は[1]等をご覧ください。

最後に

今回は変分ベイズ法の概要について説明しました。
他の近似手法が気になる方は他の手法についても調べてみてください。

参考文献

[1]C.M. ビショップ (2012)：『パターン認識と機械学習 下』, 丸善出版